+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: бириктирүүлөр мындан ары катар тартибин сактабайт

Polars 2.0 демейки боюнча агымдык кыймылдаткычта чогултууну иштетет.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 демейки боюнча агымдык кыймылдаткычта чогултууну иштетет. Бириктирүү, group_by жана unpivot үчүн, эгерде сиз maintain_order же sortту ачык койбосоңуз, релиз мындан ары киргизүү катар тартибин кепилдебейт. Polars 2.0.0 версиясындагы иштетүүбүздө, 2,000,000-катар ички бириктирүү демейки боюнча катарларды киргизүү тартибинен тышкары кайтарды жана maintain_order коюлганда тартипти сактады. Релиз ошондой эле өзөк сырткы төгүлүүнү күйгүзөт жана бенчмарктын дооматтарын сатуучунун өзүнүкү кылат.

Жазма басылышын окуу (Англисче) ↗

Бул видео эмнелерди камтыйт

  • Жалкоо суроого collect() чакыруу азыр демейки боюнча агымдык кыймылдаткычты колдонот, ал бириктирүү, group_by жана unpivot үчүн катар тартибин кепилдебейт.
  • Миграция колдонмосу тартип мындан ары 2.0 чейинки тартипте эмес жана кепилденбейт деп айтат; эгер сиз ага таянсаңыз, ачык сорттоону сунуштайт.
  • Биздин иштетүүбүздө, демейки ички бириктирүү киргизүү тартибин False кайтарды; maintain_order="left_right" бириктирүүдө True кайтарды. Бир машина, бир иштетүү, бир бириктирүү формасы.
  • Өзөк сырткы төгүлүүнү демейки боюнча күйгүзүлгөн: ал RAMдын болжол менен 80% дан башталат, 64 ГБ демейки диск бюджети менен. Өзөк сырткы бириктирүү жана group_by жол картасында.
  • collect_schema() кандайдыр бир маалыматтар окулганга чейин жок мамычаны кармайт, бирок бир гана мааниде ишке ашпай калган куюу collect() учурунда гана ишке ашпайт.
  • TPC-H жана TPC-DS салыштыруу сатуучунун өзүнүн туунду маалыматтар боюнча иштетүүсү, жана анын шилтемеси натыйжалар расмий бенчмарктарга салыштырмалуу эмес деп айтат.

Суроолор жана жооптор

Эмне үчүн Polars 2.0 бириктирүүлөрү мындан ары киргизүү ирети боюнча саптарды сактабайт?

Жалкоо суроого чакыруу демейки боюнча агымдык кыймылдаткычты колдонот. Агым суроону параллелдүү иштеген бөлүктөргө бөлөт жана бөлүктөр бүткөндө аяктайт. Бириктирүү, group_by жана unpivot үчүн, чыгаруу саптын иретин убада кылбайт. Чыгарууну сакталган файлдын саптары менен салыштырган тесттер биринчи бузулушу ыктымал.

Бул бөлүктү көрүү 0:00 · Polars (pola.rs) · Polars documentation

Polars 2.0'го жаңыртылгандан кийин эски сап иретин кантип кайтарсам болот?

Бириктирүүдөн кийин ачык сортту кошуңуз, бул миграция көрсөтмөсү сунуштаган нерсе, же бириктирүүдө maintain_order аргументин орнотуңуз. Эпизоддун Polars 2.0.0 боюнча иштешинде, демейки ички бириктирүү саптарды киргизүү иретинде эмес кайтарды, ал эми maintain_order left_right деп коюлганда иретти сактады. Бул бир машина, бир иштетүү жана бир бириктирүү формасы болчу.

Бул бөлүктү көрүү 2:07 · Polars documentation

Polars 2.0 эстутумдан чоңураак маалыматтарды иштете алабы?

Жарым-жартылай. Out-of-core төгүү демейки боюнча күйгүзүлгөн, болжол менен RAM'дин 80% дан баштап, 64 ГБ демейки диск бюджети менен. Сорттоо, терезе функциялары жана көптөгөн туюнтмалар азыр төгүлүшү мүмкүн. Out-of-core бириктирүүлөр жана group-bys жол картасында, ошондуктан бул операциялар азырынча төгүлбөйт.

Бул бөлүктү көрүү 0:56 · Polars (pola.rs) · Polars documentation

Polars 2.0 бенчмарк салыштырууларына DuckDB жана DataFusion менен ишенсем болобу?

Аларды сатуучунун өз дооматтары катары караңыз. Polars TPC-H жана TPC-DS боюнча DataFusion жана DuckDB'ны жеңет дейт, бирок сандар өзүнүн туунду маалыматтар боюнча иштетүүлөрүнөн келип чыгат жана анын шилтемеси жыйынтыктар расмий бенчмарктарга салыштырмалуу эмес дейт. Polars ошондой эле чоң машинанын кошумча жиптери кичинекей суроолорду жайлатат дейт.

Бул бөлүктү көрүү 1:17 · Polars (pola.rs) · Polars on GitHub

Учурдагы Polars түтүк линияларын 2.0 версиясына жаңыртуу коопсузбу?

The Daily Diff'тин өкүмү NEEDS REVIEW болду. Эпизод жаңыртуудан мурун ар бир бириктирүүнү карап чыкмак, анткени андан кийин сорту жок ар кандай бириктирүү эч качан кабыл алынбаган сап иретин чечет. Катуураак терип киргизүү бир аз жардам берет, анткени схема текшерүү маалыматтар окулганга чейин жок болгон мамычаны кармайт, бирок бир сапта иштебей калган cast бир гана чогултууда иштебей калат.

Бул бөлүктү көрүү 2:20 · Polars documentation · Polars (pola.rs)

Котормо стенограмма

Англис тилиндеги баштапкы баяндамадан которулган. Жеткиликтүү аудио жана коштомо жазуулар YouTube тарабынан көзөмөлдөнөт.

Эмне үчүн демейки тартип өзгөрдү?

0:00 Сиз бириктирүү сиз жазган тартипте саптарыңызды кайтарып берет деп ойлойсуз. Polars 2.0 муну, демейки боюнча, атайылап убада кылууну токтотту. Бул видеодо: эмне үчүн демейки өзгөрдү? Ал эмнени сатып алды? Жана кайсы скриптиңиз биринчи бузулат? Бул The Daily Diff, ичинен. Polars - бул ачык булактуу DataFrame китепканасы: Pythonдон чакырган таблица кыймылдаткычы,

0:20 анын өзөгү Rust тилинде жазылган. Ал MIT лицензиясы боюнча бекер, жана сиз аны pip install polars менен орнотосуз. Бир деталь биринчи. Эски тартипти кайтаруучу өчүргүч бириктирүүнүн өзүнүн аргументи болуп саналат. Мен ага аягында кайрылам. 2.0 версиясынан бери, collect демейки боюнча агымдык кыймылдаткычты иштетет. Агым суроону параллель иштеген бөлүктөргө бөлөт, жана бөлүктөр бүткөндө бүтөт.

0:42 Бириктирүү, group by жана unpivot үчүн, релиз тартипти убада кылбайт. Ким биринчи сокку жейт? Чыгарууну сакталган файл менен, катар-катар салыштырган адам. Бул тест ноутбугуңузда өтүп, башка машинада ишке ашпай калышы мүмкүн. Кийинки, миграция колдонмосу.

Миграция колдонмосу эмнени убада кылат?

0:57 Ал жогоруда көрсөтүлгөн так катар тартиби кепилденбейт деп айтат. Ошондуктан, эгер сиз тартипке таянсаңыз, ачык сорттоңуз. Өзөк сырткы демейки боюнча да күйгүзүлгөн. Ал RAMдын сексен пайызга жакынында дискке төгүлүп баштайт, алтымыш төрт гигабайттык бюджет менен. Сорттоо, терезе функциялары жана көптөгөн туюнтмалар азыр төгүлүп кетиши мүмкүн. Бириктирүүлөр жана group-bys келе жатат.

Бенчмарк адилеттүү күрөшпү?

1:17 Polars TPC-H жана TPC-DS боюнча DataFusion жана DuckDBны жеңет дейт. бенчмарктар. Сандар алардын өзүлөрүнүн иштетүүлөрүнөн, туунду маалыматтар боюнча алынган, жана алардын шилтемеси алар расмий натыйжалар менен салыштырууга болбойт дейт. Алардын өзүлөрүнүн сандары Polars TPC-H боюнча он алты өзөктөн жүз токсон экиге чейин үч бүтүн сегиз эсе ылдамыраак болот дейт. үч бүтүн сегиз эсе ылдамыраак болот дейт. Алар ошондой эле чоң машинанын кошумча жиптери кичинекей суроолорду жайлатат дешет.

Биз аны иштеткенде эмнени көрөбүз?

1:41 Биз Polars 2.0.0 версиясында ошол эле бириктирүүнү эки жолу иштеттик. Демейки иштетүү катарларды аралаштырат. Желек менен, киргизүү тартиби сакталат. Тестти азыктандырган бириктирүүлөрдү табыңыз. Андан кийин сорттоосу жок ар кандай бириктирүү сиз эч качан кабыл албаган катар тартибинин чечими. Polars 2.0 типтерге карата катаалыраак.

Катуураак деген эртеби?

1:58 Схеманы текшерүү кандайдыр бир маалыматтар окулганга чейин жок мамычаны кармайт. Бир катарда ишке ашпай калган куюуну кармай албайт, анткени ал ката маалыматты күтөт. Эми мен ачкан цикл.

Эски тартипти кантип кайтарсам болот?

2:08 Өчүргүч бириктирүүдө жайгашкан. Бириктирүүдө тартипти сактоону коюңуз, же андан кийин сорттоону кошуңуз. Колдонмо сорттоону сунуштайт. Бириктирүү желеги биздин иштетүүдө тартипти сактады, сол тараптын тартиби сол, оң катары сакталды. Вердикт, ичинен: NEEDS REVIEW.

Өкүм кандай?

2:22 Мен жаңыртуудан мурун ар бир бириктирүүнү карап чыкмакмын. Бул тууралуу сурооңуз барбы? Аны комментарийлерге жазыңыз. Жана бул бүгүнкү diff. Мен Axrisiден Никомун. Жоопкерчиликтүү түрдө бириктириңиз.

Булактар

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Окшош видеолор

daily · ky · 2026-ж., 7-окт.

Hono тышкы тартма сурамдарын чектейт, анткени тейлөөчүлөр салымдарды кабыл алууну кайра карап чыгышууда

Hono MIT лицензиясы бар кодун сактап туруп, тышкы тартма сурамдарын түзүүнү өчүрдү. Синдре Сорхус өзүнүн репозиторий чектөөлөрүн AIга байланыштырып, тейлөө жана маселелерди чечүү улана берерин айтты.

5:22 ↗
daily · ky · 2026-ж., 13-ноя.

DisplayLink Linux драйверинин патент талашы: талаптар жана OIN кодектерин камтуу

Synaptics компаниясынын патенттик талаптары Майк Лотиандын ачык DisplayLink драйверинин прототибин токтотту. LWNдин жаңы отчету эски кат алышууларды, шарттуу акча талабын жана OIN кодектерин камтуу че

5:10 ↗
under-the-hood · ky · 2026-ж., 17-окт.

Python аткаруусу: нативдүү NumPy циклдери, кайра чалуулар жана конверсия чыгымдары

Башкарылуучу CPU-гана сандык тест CPython циклдери, NumPy арифметикасы, Python кайра чалуу оромосу жана компиляцияланган Numba цикли аркылуу бирдей маанилерди байкайт. Даяр-киргизүү NumPy чоң артыкчыл

6:00 ↗