Polars 2.0: неліктен біріктірулер енді жол ретін сақтамайды

Бұл бейне не туралы

• Ленивый сұраныс бойынша collect() шақыруы енді әдепкі бойынша ағынды қозғалтқышты пайдаланады, ол біріктіру, group_by және unpivot үшін жол ретіне кепілдік бермейді.
• Миграция нұсқаулығында реттің 2.0-ге дейінгі рет емес және кепілдік берілмейтіні айтылған; егер оған сенсеңіз, нақты сұрыптауды ұсынады.
• Біздің іске қосуымызда, әдепкі ішкі біріктіру енгізу реті False мәнін қайтарды; біріктіруде maintain_order="left_right" орнату True мәнін қайтарды. Бір машина, бір іске қосу, бір біріктіру пішіні.
• Ядродан тыс төгілу әдепкі бойынша қосулы: ол ЖЖҚ шамамен 80%-ында басталады, әдепкі 64 ГБ дискілік бюджетпен. Ядродан тыс біріктіру және group_by жол картасында.
• collect_schema() кез келген деректерді оқымай тұрып жоқ бағанды табады, бірақ бір мәнде сәтсіз аяқталған түрлендіру тек collect() кезінде сәтсіз аяқталады.
• TPC-H және TPC-DS салыстыруы сатушының туынды деректер бойынша өз іске қосуы болып табылады, және оның ескертпесінде нәтижелер ресми салыстырмалы тесттермен салыстыруға болмайтыны айтылған.

Аударылған транскрипция

Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.

Неліктен әдепкі рет өзгерді?

0:00 Сіз біріктіру сіздің жолдарыңызды жазған ретіңізбен қайтарады деп ойлайсыз. Polars 2.0 әдепкі бойынша бұл уәдені әдейі тоқтатты. Бұл бейнеде: неліктен әдепкі өзгерді? Ол не сатып алды? Және сіздің сценарийлеріңіздің қайсысы бірінші бұзылады? Бұл The Daily Diff, ішкі жағында. Polars - бұл ашық бастапқы кодты DataFrame кітапханасы: Python-дан шақыратын кесте қозғалтқышы,

0:20 негізі Rust-та жазылған. Ол MIT лицензиясы бойынша тегін, және оны pip install polars арқылы орнатасыз. Алдымен бір егжей-тегжейлі. Ескі ретті қайтаратын қосқыш біріктірудің өзіне аргумент болып табылады. Мен оған соңында ораламын. 2.0 нұсқасынан бастап, collect әдепкі бойынша ағынды қозғалтқышты іске қосады. Ағын сұранысты параллельді іске қосылатын бөліктерге бөледі, және бөліктер аяқталған кезде аяқталады.

0:42 Біріктіру, group by және unpivot үшін шығарылым ретке уәде бермейді. Кім бірінші соққыға ұшырайды? Шығысты сақталған файлмен жол-жолмен салыстыратындар. Бұл тест ноутбугіңізде өтуі мүмкін, бірақ басқа машинада сәтсіз аяқталуы мүмкін. Келесі, миграция нұсқаулығы.

Миграция нұсқаулығы не уәде етеді?

0:57 Ол жоғарыда көрсетілген жолдың нақты ретіне кепілдік берілмейді дейді. Сондықтан, егер сіз ретке сенсеңіз, нақты сұрыптаңыз. Ядродан тыс жұмыс та әдепкі бойынша қосулы. Ол ЖЖҚ сексен пайызға жуығында дискіге төгілуді бастайды, алпыс төрт гигабайттық бюджетпен. Сұрыптау, терезе функциялары және көптеген өрнектер енді төгілуі мүмкін. Біріктірулер мен group-by функциялары келе жатыр.

Салыстырмалы тест әділ бәсеке ме?

1:17 Polars TPC-H және TPC-DS салыстырмалы тесттерінде DataFusion және DuckDB-ді жеңеді дейді. Сандар олардың туынды деректер бойынша өз іске қосуларынан алынған, және олардың ескертпесінде олардың ресми нәтижелермен салыстыруға болмайтыны айтылған. Олардың өз сандары Polars TPC-H-да он алты ядродан жүз тоқсан екі ядроға дейін шамамен үш бүтін сегіз есе жылдамырақ болады дейді. Олар сонымен қатар үлкен машинаның қосымша ағындары шағын сұраныстарды баяулатады дейді. Біз Polars 2.0.0-де бірдей біріктіруді екі рет іске қостық.

Оны іске қосқанда не көреміз?

1:41 Әдепкі іске қосу жолдарды араластырады. Белгімен, енгізу реті сақталады. Тестті беретін біріктірулерді табыңыз. Одан кейін сұрыптау жоқ кез келген біріктіру - сіз ешқашан қабылдамаған жол реті туралы шешім. Polars 2.0 типтерге қатысты қатаңырақ. Схеманы тексеру деректер оқылмай тұрып жоқ бағанды табады.

Қатаңырақ ертерек дегенді білдіре ме?

1:58 Ол бір жолда сәтсіз аяқталған түрлендіруді таба алмайды, себебі бұл қате деректерді күтеді. Енді мен ашқан цикл. Қосқыш біріктіруде тұрады.

Ескі ретті қалай қайтарамын?

2:08 Біріктіруде maintain order параметрін орнатыңыз немесе одан кейін сұрыптауды қосыңыз. Нұсқаулық сұрыптауды ұсынады. Біріктіру белгісі біздің іске қосуымызда ретті сақтады, сол жақтың реті сол, оң ретінде сақталды. Үкім, ішкі жағында: тексеру қажет. Жаңарту алдында әрбір біріктіруді қарайтын едім.

Үкім қандай?

2:22 Бұл туралы сұрағыңыз бар ма? Оны пікірлерге жазыңыз. Және бұл бүгінгі айырмашылық. Мен Никомын, Axrisi-ден. Жауапкершілікпен біріктіріңіз. Жауапкершілікпен біріктіріңіз.

Дереккөздер

1. Release of Polars 2.0Polars (pola.rs)
2. Polars 2.0 upgrade guidePolars documentation
3. Polars homepagePolars (pola.rs)
4. polars-2.0-benchmark repositoryPolars on GitHub
5. Release of Polars 2.0 (Hacker News discussion)Hacker News