+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: чаму аб'яднанні больш не захоўваюць парадак радкоў

Polars 2.0 па змаўчанні запускае збор на струменным рухавіку.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 па змаўчанні запускае збор на струменным рухавіку. Для аб'яднанняў (join), груповак (group_by) і пераўтварэнняў (unpivot) новая версія больш не гарантуе парадку радкоў на ўваходзе, калі вы відавочна не ўсталюеце maintain_order або sort. У нашым выкананні на polars 2.0.0, унутранае аб'яднанне з 2 000 000 радкоў па змаўчанні вяртала радкі не па парадку ўводу і захоўвала парадак з усталяваным maintain_order. Версія таксама ўключае выгрузку дадзеных з памяці на дыск (out-of-core spilling) і робіць заяўленыя пастаўшчыком параўнальныя тэсты ўласнымі.

Чытаць пісьмовае выданне (англійская) ↗

Што ахоплівае гэта відэа

  • Выклік collect() у лянівым запыце зараз па змаўчанні выкарыстоўвае струменны рухавік, які не гарантуе парадку радкоў для join, group_by і unpivot.
  • Кіраўніцтва па міграцыі кажа, што парадак больш не з'яўляецца парадкам да 2.0 і не гарантуецца; яно рэкамендуе відавочную сартаванне, калі вы на яго спадзяецеся.
  • У нашым выкананні, унутранае аб'яднанне па змаўчанні вяртала парадак уводу False; maintain_order="left_right" для аб'яднання вяртала True. Адна машына, адно выкананне, адна форма аб'яднання.
  • Выгрузка дадзеных з памяці на дыск уключана па змаўчанні: яна пачынаецца пры прыблізна 80 % АЗП, з бюджэтам дыска па змаўчанні 64 ГБ. Выгрузка з памяці на дыск для join і group_by знаходзіцца ў плане распрацоўкі.
  • collect_schema() ловіць адсутны слупок да таго, як будуць прачытаны дадзеныя, але пераўтварэнне тыпу, якое не працуе толькі для аднаго значэння, правальваецца толькі пры collect().
  • Параўнанне TPC-H і TPC-DS - гэта ўласнае выкананне пастаўшчыка на вытворных дадзеных, і яго зноска кажа, што вынікі не параўнальныя з афіцыйнымі бенчмаркамі.

Пытанні і адказы

Чаму аб'яднанні Polars 2.0 больш не захоўваюць радкі ў парадку ўводу?

Выклік collect для лянівага запыту цяпер па змаўчанні выкарыстоўвае струменевы рухавік. Струменевая апрацоўка разбівае запыт на фрагменты, якія выконваюцца паралельна, і фрагменты заканчваюцца, калі яны заканчваюцца. Для join, group_by і unpivot рэліз таму не гарантуе парадак радкоў на выхадзе. Тэсты, якія параўноўваюць вынік з захаваным файлам радок за радком, хутчэй за ўсё, першымі будуць парушаны.

Глядзіце гэтую частку 0:00 · Polars (pola.rs) · Polars documentation

Як мне вярнуць стары парадак радкоў пасля абнаўлення да Polars 2.0?

Дадайце відавочную сартаванне пасля аб'яднання, што рэкамендуе кіраўніцтва па міграцыі, або ўсталюйце аргумент maintain_order для аб'яднання. У запуску эпізоду на Polars 2.0.0, стандартнае ўнутранае аб'яднанне вяртала радкі не па парадку ўводу, у той час як maintain_order, усталяваны ў left_right, захоўваў парадак. Гэта была адна машына, адзін запуск і адна форма аб'яднання.

Глядзіце гэтую частку 2:07 · Polars documentation

Ці можа Polars 2.0 апрацоўваць даныя, большыя за памяць?

Часткова. Выгрузка з асноўнай памяці ўключана па змаўчанні, пачынаючы прыкладна з 80 % АЗП з бюджэтам дыска 64 ГБ па змаўчанні. Сартаванне, аконныя функцыі і многія выразы цяпер могуць выгружаць даныя. Аб'яднанні і групаванні па-за асноўнай памяццю знаходзяцца ў планах, таму гэтыя аперацыі яшчэ не выгружаюць даныя.

Глядзіце гэтую частку 0:56 · Polars (pola.rs) · Polars documentation

Ці магу я давяраць параўнанням прадукцыйнасці Polars 2.0 з DuckDB і DataFusion?

Разглядайце іх як уласныя заявы пастаўшчыка. Polars заяўляе, што ён пераўзыходзіць DataFusion і DuckDB на TPC-H і TPC-DS, але лічбы атрыманы з яго ўласных запускаў на вытворных даных, і яго спасылка ўнізе старонкі кажа, што вынікі не параўнальныя з афіцыйнымі бенчмаркамі. Polars таксама заяўляе, што дадатковыя патокі вялікай машыны запавольваюць невялікія запыты.

Глядзіце гэтую частку 1:17 · Polars (pola.rs) · Polars on GitHub

Ці бяспечна абнаўляць існуючыя канвееры Polars да версіі 2.0?

Вердыкт The Daily Diff быў NEEDS REVIEW. Эпізод прагледзеў бы кожнае аб'яднанне перад абнаўленнем, таму што любое аб'яднанне без сартавання пасля яго - гэта рашэнне аб парадку радкоў, якое ніколі не прымалася. Больш строгая тыпізацыя трохі дапамагае, бо праверка схемы выяўляе адсутны слупок да таго, як даныя будуць прачытаны, але прывядзенне тыпу, якое не працуе для аднаго радка, не працуе толькі пры collect.

Глядзіце гэтую частку 2:20 · Polars documentation · Polars (pola.rs)

Перакладзеная стэнаграма

Перакладзена з арыгінальнай англійскай агучкі. Даступнае аўдыя і субтытры кантралююцца YouTube.

Чаму змяніўся парадак па змаўчанні?

0:00 Вы думаеце, што аб'яднанне вяртае вашы радкі ў тым парадку, у якім вы іх запісалі. Polars 2.0 спыніў абяцаць гэта па змаўчанні, наўмысна. У гэтым відэа: чаму змяніўся парадак па змаўчанні? Што гэта дало? І які з вашых скрыптоў зламаецца першым? Гэта The Daily Diff, пад капотам. Polars - гэта бібліятэка DataFrame з адкрытым зыходным кодам: рухавік табліц, які вы выклікаеце з Python,

0:20 яго ядро напісана на Rust. Ён бясплатны па ліцэнзіі MIT, і вы ўсталёўваеце яго з дапамогай pip install polars. Спачатку адна дэталь. Пераключальнік, які вяртае стары парадак, з'яўляецца аргументам самога аб'яднання. Я вярнуся да яго ў канцы. З версіі 2.0 collect па змаўчанні запускае струменны рухавік. Струменная апрацоўка разбівае запыт на фрагменты, якія выконваюцца паралельна, і фрагменты заканчваюцца, калі яны заканчваюцца.

0:42 Для join, group by і unpivot версія не абяцае парадку. Хто пацерпіць першым? Кожны, хто параўноўвае выхад з захаваным файлам, радок за радком. Гэты тэст можа прайсці на вашым ноўтбуку і праваліцца на іншай машыне. Далей, кіраўніцтва па міграцыі.

Што абяцае кіраўніцтва па міграцыі?

0:57 Яно кажа, што дакладны парадак радкоў, паказаны вышэй, не гарантуецца. Такім чынам, калі вы спадзяецеся на парадак, сартуйце відавочна. Выгрузка дадзеных з памяці на дыск таксама ўключана па змаўчанні. Яна пачынае выгрузку на дыск пры прыблізна васьмідзесяці працэнтах АЗП, з бюджэтам у шэсцьдзесят чатыры гігабайты. Сартаванне, аконныя функцыі і многія выразы могуць зараз выгружацца. Аб'яднанні і групоўкі з'явяцца ў будучыні.

Ці з'яўляецца бенчмарк справядлівым?

1:17 Polars сцвярджае, што ён пераўзыходзіць DataFusion і DuckDB у тэстах TPC-H і TPC-DS бенчмарках. Лічбы ўзяты з іх уласных запускаў, на вытворных дадзеных, і іх зноска кажа, што яны не параўнальныя з афіцыйнымі вынікамі. Іх уласныя лічбы кажуць, што Polars становіцца прыблізна ў тры цэлых восем дзясятых разоў хутчэй ад шаснаццаці ядраў да ста дзевяноста двух, на TPC-H. Яны таксама кажуць, што дадатковыя патокі вялікай машыны запавольваюць невялікія запыты.

Што мы бачым, калі запускаем яго?

1:41 Мы запусцілі тое ж самае аб'яднанне двойчы на Polars 2.0.0. Выкананне па змаўчанні перамяшала радкі. З флагам парадак уводу захаваўся. Знайдзіце аб'яднанні, якія падаюць дадзеныя для тэсту. Любое аб'яднанне без наступнага сартавання - гэта рашэнне аб парадку радкоў, якое вы ніколі не прымалі. Polars 2.0 больш строгі ў адносінах да тыпаў.

Ці азначае строжэйшы - ранейшы?

1:58 Праверка схемы ловіць адсутны слупок да таго, як будуць прачытаны дадзеныя. Яна не можа злавіць пераўтварэнне тыпу, якое не працуе для аднаго радка, таму што гэтая памылка чакае дадзеных. Цяпер завеса, якую я адкрыў.

Як вярнуць стары парадак?

2:08 Пераключальнік знаходзіцца ў аб'яднанні. Усталюйце maintain order для аб'яднання або дадайце сартаванне пасля яго. Кіраўніцтва прапануе сартаванне. Флаг аб'яднання захаваў парадак у нашым выкананні, прычым парадак левага боку захаваўся як злева, справа. Вердыкт, пад капотам: NEEDS REVIEW.

Які вердыкт?

2:22 Я б перагледзеў кожнае аб'яднанне перад абнаўленнем. Ёсць пытанні наконт гэтага? Пакіньце іх у каментарах. І гэта ўвесь diff на сёння. Я Ніка з Axrisi. Аб'ядноўвайце адказна.

Крыніцы

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Звязаныя відэа

daily · be · 7 кас 2026 г.

Hono абмяжоўвае знешнія запыты на зліццё, бо распрацоўшчыкі пераглядаюць прыём укладаў

Hono адключыў стварэнне знешніх запытаў на зліццё, захаваўшы свой код з ліцэнзіяй MIT. Сіндрэ Сорхус асобна патлумачыў абмежаванні ў сваіх рэпазіторыях штучным інтэлектам і заявіў, што абслугоўванне і

5:22 ↗
daily · be · 13 ліс 2026 г.

Патэнтная спрэчка вакол драйвера DisplayLink Linux: патрабаванні і пакрыццё кодэкаў OIN

Патэнтныя патрабаванні Synaptics прыпынілі распрацоўку адкрытага прататыпа драйвера DisplayLink Майкам Лотыянам. Новая справаздача LWN апісвае старую перапіску, умоўнае грашовае патрабаванне і ліміт п

5:10 ↗
under-the-hood · be · 17 кас 2026 г.

Прадукцыйнасць Python: натыўныя цыклы NumPy, зваротныя выклікі і выдаткі на пераўтварэнне

Кантраляваны лікавы тэст толькі для працэсара прасочвае ідэнтычныя значэнні праз цыклы CPython, арыфметыку NumPy, абалонку зваротнага выкліку Python і скампіляваны цыкл Numba. NumPy з гатовай наладай

6:00 ↗