+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: зошто спојувањата повеќе не го задржуваат редоследот на редовите

Polars 2.0 стандардно работи колекција на стриминг машина.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 стандардно работи колекција на стриминг машина. За спојување, group_by и unpivot, изданието повеќе не го гарантира редоследот на влезните редови, освен ако експлицитно не поставите maintain_order или sort. Во нашето извршување на polars 2.0.0, внатрешно спојување од 2.000.000 редови стандардно врати редови надвор од влезниот редослед и го задржа редоследот со поставено maintain_order. Изданието, исто така, го вклучува out-of-core spilling и ги прави тврдењата за бенчмаркот сопствени на продавачот.

Прочитајте го пишаното издание (англиски) ↗

Што покрива ова видео

  • Повикувањето collect() на мрзливо барање сега стандардно го користи стриминг моторот, кој не гарантира редослед на редови за join, group_by и unpivot.
  • Упатството за миграција вели дека редоследот повеќе не е редослед пред 2.0 и не е гарантиран; препорачува експлицитно сортирање ако се потпирате на него.
  • Во нашето извршување, стандардното внатрешно спојување врати влезен редослед Неточно; maintain_order="left_right" на спојувањето врати Точно. Една машина, едно извршување, една форма на спојување.
  • Истурањето надвор од јадрото е стандардно вклучено: започнува на околу 80% од RAM меморијата, со стандарден буџет за диск од 64 GB. Спојувањето и group_by надвор од јадрото се на патоказот.
  • collect_schema() фаќа колона што недостасува пред да се прочитаат какви било податоци, но каст што не успева на една вредност не успева само при collect().
  • Споредбата TPC-H и TPC-DS е сопствено извршување на продавачот на изведени податоци, а нејзината фуснота вели дека резултатите не се споредливи со официјалните бенчмарци.

Прашања и одговори

Зошто спојувањата во Polars 2.0 веќе не ги задржуваат редовите во нивниот влезен редослед?

Повикувањето „collect“ на мрзливо барање сега го користи стриминг моторот по дифолт. Стримингот го дели барањето на парчиња кои работат паралелно, а парчињата завршуваат кога ќе завршат. За спојување, „group_by“ и „unpivot“, изданието затоа не ветува редослед на излезни редови. Тестовите кои го споредуваат излезот со зачувана датотека ред по ред се првите кои веројатно ќе се расипат.

Гледајте го овој дел 0:00 · Polars (pola.rs) · Polars documentation

Како да го вратам стариот редослед на редови по надградбата на Polars 2.0?

Додајте експлицитно сортирање по спојувањето, што го препорачува водичот за миграција, или поставете го аргументот „maintain_order“ на спојувањето. Во извршувањето на епизодата на Polars 2.0.0, стандардното внатрешно спојување враќаше редови надвор од влезниот редослед, додека „maintain_order“ поставен на „left_right“ го задржа редоследот. Тоа беше една машина, едно извршување и една форма на спојување.

Гледајте го овој дел 2:07 · Polars documentation

Може ли Polars 2.0 да обработува податоци поголеми од меморијата?

Делумно. Прелевањето надвор од јадрото е стандардно вклучено, почнувајќи од околу 80 % од RAM со стандарден буџет за диск од 64 GB. Сортирањето, функциите за прозорец и многу изрази сега можат да се прелеваат. Спојувањата и групирањата надвор од јадрото се на патот, така што тие операции сè уште не се прелеваат.

Гледајте го овој дел 0:56 · Polars (pola.rs) · Polars documentation

Може ли да им верувам на споредбите на перформансите на Polars 2.0 со DuckDB и DataFusion?

Третирајте ги како сопствени тврдења на продавачот. Polars вели дека ги надминува DataFusion и DuckDB на TPC-H и TPC-DS, но бројките доаѓаат од неговите сопствени извршувања на изведени податоци, а неговата фуснота вели дека резултатите не се споредливи со официјалните бенчмарк тестови. Polars исто така вели дека дополнителните нишки на големата машина ги забавуваат малите барања.

Гледајте го овој дел 1:17 · Polars (pola.rs) · Polars on GitHub

Дали е безбедно да се надградат постоечките Polars цевководи на верзија 2.0?

Пресудата на The Daily Diff беше NEEDS REVIEW. Епизодата ќе го прегледа секое спојување пред надградбата, бидејќи секое спојување без сортирање по него е одлука за редоследот на редовите која никогаш не била донесена. Построгото типизирање помага малку, бидејќи проверката на шемата фаќа колона што недостасува пред да се прочитаат податоците, но претворањето што не успева на еден ред не успева само при собирање.

Гледајте го овој дел 2:20 · Polars documentation · Polars (pola.rs)

Преведен транскрипт

Преведено од оригиналната англиска нарација. Достапното аудио и наслови се контролирани од YouTube.

Зошто се промени стандардниот редослед?

0:00 Мислите дека спојувањето ви ги враќа редовите по редослед по кој сте ги напишале. Polars 2.0 престана да го ветува тоа, стандардно, намерно. Во ова видео: зошто се промени стандардната поставка? Што доби? И кој од вашите скрипти прво се расипува? Ова е The Daily Diff, под хаубата. Polars е библиотека за DataFrame со отворен код: мотор за табели што го повикувате од Python,

0:20 со неговото јадро напишано во Rust. Бесплатно е под MIT лиценца, а го инсталирате со pip install polars. Прво еден детал. Прекинувачот што го враќа стариот редослед е аргумент на самото спојување. Ќе се вратам на тоа на крајот. Од 2.0, collect стандардно го извршува стриминг моторот. Стримингот го дели барањето на парчиња што работат паралелно, а парчињата завршуваат кога ќе завршат.

0:42 За спојување, group by и unpivot, изданието не ветува редослед. Кој прв ќе биде погоден? Секој што го споредува излезот со зачувана датотека, ред по ред. Тој тест може да помине на вашиот лаптоп и да не успее на друга машина. Следно, водичот за миграција.

Што ветува водичот за миграција?

0:57 Во него пишува дека точниот редослед на редови прикажан погоре не е гарантиран. Значи, ако се потпирате на редоследот, сортирајте експлицитно. Истурањето надвор од јадрото е стандардно вклучено. Почнува да се истура на диск на околу осумдесет проценти од RAM меморијата, со буџет од шеесет и четири гигабајти. Сортирањето, функциите на прозорци и многу изрази сега можат да се истураат. Доаѓаат спојувања и group-by.

Дали бенчмаркот е фер борба?

1:17 Polars вели дека ги победува DataFusion и DuckDB на TPC-H и TPC-DS бенчмарци. Бројките доаѓаат од нивните сопствени извршувања, на изведени податоци, а нивната фуснота вели дека не се споредливи со официјалните резултати. Нивните сопствени бројки велат дека Polars е околу три пати и осум десетини побрз од шеснаесет јадра до сто деветдесет и две, на TPC-H. Тие, исто така, велат дека дополнителните нишки на големата машина ги забавуваат малите барања.

Што гледаме кога го извршуваме?

1:41 Го извршивме истото спојување двапати на Polars 2.0.0. Стандардното извршување ги промешува редовите. Со знамето, влезниот редослед опстојува. Најдете ги спојувањата што напојуваат тест. Секое спојување без сортирање после него е одлука за редоследот на редовите што никогаш не сте ја донеле. Polars 2.0 е построг за типовите.

Дали построгото значи порано?

1:58 Проверката на шемата фаќа колона што недостасува пред да се прочитаат какви било податоци. Не може да фати каст што не успева на еден ред, бидејќи таа грешка чека на податоците. Сега јамката што ја отворив.

Како да го вратам стариот редослед?

2:08 Прекинувачот живее на спојувањето. Поставете maintain order на спојувањето, или додадете сортирање после него. Водичот го сугерира сортирањето. Знамето за спојување го задржа редоследот во нашето извршување, со редоследот на левата страна задржан како лево, десно. Пресуда, под хаубата: ПОТРЕБЕН Е ПРЕГЛЕД.

Која е пресудата?

2:22 Би го прегледал секое спојување пред да надградам. Имате прашање за ова? Ставете го во коментарите. И тоа е разликата за денес. Јас сум Нико од Axrisi. Спојувајте одговорно.

Извори

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Поврзани видеа

daily · mk · 7 окт. 2026 г.

Hono ги ограничува надворешните барања за влечење бидејќи одржувачите повторно го разгледуваат внесот на придонеси

Hono го оневозможи создавањето надворешни барања за влечење, задржувајќи го својот код лиценциран со МИТ. Синдре Сорхус одделно ги припиша сопствените ограничувања на складиштето на вештачката интелиг

5:22 ↗
daily · mk · 13 ное. 2026 г.

Патентен спор за драјвери на DisplayLink Linux: барања и покривање на OIN кодек

Патентните барања на Synaptics го закочија прототипот на отворениот драјвер на DisplayLink на Мајк Лотиан. Новиот извештај на LWN опишува постара кореспонденција, условено монетарно барање и ограничув

5:10 ↗
under-the-hood · mk · 17 окт. 2026 г.

Перформанси на Python: природни NumPy јамки, повратен повик и трошоци за конверзија

Контролиран нумерички тест само за процесорот следи идентични вредности преку CPython јамки, NumPy аритметика, обвивка за повратен повик на Python и компајлирана Numba јамка. Подготвениот влез NumPy и

6:00 ↗