Polars 2.0: бириктирүүлөр мындан ары катар тартибин сактабайт

Бул видео эмнелерди камтыйт

• Жалкоо суроого collect() чакыруу азыр демейки боюнча агымдык кыймылдаткычты колдонот, ал бириктирүү, group_by жана unpivot үчүн катар тартибин кепилдебейт.
• Миграция колдонмосу тартип мындан ары 2.0 чейинки тартипте эмес жана кепилденбейт деп айтат; эгер сиз ага таянсаңыз, ачык сорттоону сунуштайт.
• Биздин иштетүүбүздө, демейки ички бириктирүү киргизүү тартибин False кайтарды; maintain_order="left_right" бириктирүүдө True кайтарды. Бир машина, бир иштетүү, бир бириктирүү формасы.
• Өзөк сырткы төгүлүүнү демейки боюнча күйгүзүлгөн: ал RAMдын болжол менен 80% дан башталат, 64 ГБ демейки диск бюджети менен. Өзөк сырткы бириктирүү жана group_by жол картасында.
• collect_schema() кандайдыр бир маалыматтар окулганга чейин жок мамычаны кармайт, бирок бир гана мааниде ишке ашпай калган куюу collect() учурунда гана ишке ашпайт.
• TPC-H жана TPC-DS салыштыруу сатуучунун өзүнүн туунду маалыматтар боюнча иштетүүсү, жана анын шилтемеси натыйжалар расмий бенчмарктарга салыштырмалуу эмес деп айтат.

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

Эмне үчүн демейки тартип өзгөрдү?

0:00 Сиз бириктирүү сиз жазган тартипте саптарыңызды кайтарып берет деп ойлойсуз. Polars 2.0 муну, демейки боюнча, атайылап убада кылууну токтотту. Бул видеодо: эмне үчүн демейки өзгөрдү? Ал эмнени сатып алды? Жана кайсы скриптиңиз биринчи бузулат? Бул The Daily Diff, ичинен. Polars - бул ачык булактуу DataFrame китепканасы: Pythonдон чакырган таблица кыймылдаткычы,

0:20 анын өзөгү Rust тилинде жазылган. Ал MIT лицензиясы боюнча бекер, жана сиз аны pip install polars менен орнотосуз. Бир деталь биринчи. Эски тартипти кайтаруучу өчүргүч бириктирүүнүн өзүнүн аргументи болуп саналат. Мен ага аягында кайрылам. 2.0 версиясынан бери, collect демейки боюнча агымдык кыймылдаткычты иштетет. Агым суроону параллель иштеген бөлүктөргө бөлөт, жана бөлүктөр бүткөндө бүтөт.

0:42 Бириктирүү, group by жана unpivot үчүн, релиз тартипти убада кылбайт. Ким биринчи сокку жейт? Чыгарууну сакталган файл менен, катар-катар салыштырган адам. Бул тест ноутбугуңузда өтүп, башка машинада ишке ашпай калышы мүмкүн. Кийинки, миграция колдонмосу.

Миграция колдонмосу эмнени убада кылат?

0:57 Ал жогоруда көрсөтүлгөн так катар тартиби кепилденбейт деп айтат. Ошондуктан, эгер сиз тартипке таянсаңыз, ачык сорттоңуз. Өзөк сырткы демейки боюнча да күйгүзүлгөн. Ал RAMдын сексен пайызга жакынында дискке төгүлүп баштайт, алтымыш төрт гигабайттык бюджет менен. Сорттоо, терезе функциялары жана көптөгөн туюнтмалар азыр төгүлүп кетиши мүмкүн. Бириктирүүлөр жана group-bys келе жатат.

Бенчмарк адилеттүү күрөшпү?

1:17 Polars TPC-H жана TPC-DS боюнча DataFusion жана DuckDBны жеңет дейт. бенчмарктар. Сандар алардын өзүлөрүнүн иштетүүлөрүнөн, туунду маалыматтар боюнча алынган, жана алардын шилтемеси алар расмий натыйжалар менен салыштырууга болбойт дейт. Алардын өзүлөрүнүн сандары Polars TPC-H боюнча он алты өзөктөн жүз токсон экиге чейин үч бүтүн сегиз эсе ылдамыраак болот дейт. үч бүтүн сегиз эсе ылдамыраак болот дейт. Алар ошондой эле чоң машинанын кошумча жиптери кичинекей суроолорду жайлатат дешет.

Биз аны иштеткенде эмнени көрөбүз?

1:41 Биз Polars 2.0.0 версиясында ошол эле бириктирүүнү эки жолу иштеттик. Демейки иштетүү катарларды аралаштырат. Желек менен, киргизүү тартиби сакталат. Тестти азыктандырган бириктирүүлөрдү табыңыз. Андан кийин сорттоосу жок ар кандай бириктирүү сиз эч качан кабыл албаган катар тартибинин чечими. Polars 2.0 типтерге карата катаалыраак.

Катуураак деген эртеби?

1:58 Схеманы текшерүү кандайдыр бир маалыматтар окулганга чейин жок мамычаны кармайт. Бир катарда ишке ашпай калган куюуну кармай албайт, анткени ал ката маалыматты күтөт. Эми мен ачкан цикл.

Эски тартипти кантип кайтарсам болот?

2:08 Өчүргүч бириктирүүдө жайгашкан. Бириктирүүдө тартипти сактоону коюңуз, же андан кийин сорттоону кошуңуз. Колдонмо сорттоону сунуштайт. Бириктирүү желеги биздин иштетүүдө тартипти сактады, сол тараптын тартиби сол, оң катары сакталды. Вердикт, ичинен: NEEDS REVIEW.

Өкүм кандай?

2:22 Мен жаңыртуудан мурун ар бир бириктирүүнү карап чыкмакмын. Бул тууралуу сурооңуз барбы? Аны комментарийлерге жазыңыз. Жана бул бүгүнкү diff. Мен Axrisiден Никомун. Жоопкерчиликтүү түрдө бириктириңиз.

Булактар

1. Release of Polars 2.0Polars (pola.rs)
2. Polars 2.0 upgrade guidePolars documentation
3. Polars homepagePolars (pola.rs)
4. polars-2.0-benchmark repositoryPolars on GitHub
5. Release of Polars 2.0 (Hacker News discussion)Hacker News