+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: чому об'єднання більше не зберігають порядок рядків

Polars 2.0 за замовчуванням запускає collect на потоковому механізмі.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 за замовчуванням запускає collect на потоковому механізмі. Для join, group_by та unpivot, випуск більше не гарантує порядок вхідних рядків, якщо ви явно не встановите maintain_order або sort. У нашому запуску на polars 2.0.0, внутрішнє об'єднання з 2 000 000 рядків за замовчуванням повертало рядки поза вхідним порядком і зберігало порядок із встановленим maintain_order. Випуск також вмикає вивантаження з пам'яті (out-of-core spilling) і робить заяви про бенчмарки власні для постачальника.

Читати письмову версію (англійською) ↗

Що охоплює це відео

  • Виклик collect() для "лінивого" запиту тепер за замовчуванням використовує потоковий механізм, який не гарантує порядок рядків для join, group_by та unpivot.
  • Посібник з міграції стверджує, що порядок більше не є порядком до версії 2.0 і не гарантується; він рекомендує явне сортування, якщо ви на нього покладаєтеся.
  • У нашому запуску, об'єднання за замовчуванням повернуло False для вхідного порядку; maintain_order="left_right" для об'єднання повернуло True. Одна машина, один запуск, одна форма об'єднання.
  • Вивантаження з пам'яті (out-of-core spilling) увімкнено за замовчуванням: воно починається приблизно з 80% ОЗП, з бюджетом диска за замовчуванням 64 ГБ. Out-of-core join та group_by знаходяться в дорожній карті.
  • collect_schema() виявляє відсутню колонку до того, як будуть прочитані будь-які дані, але приведення типів, яке завершується помилкою лише для одного значення, завершується помилкою лише при collect().
  • Порівняння TPC-H та TPC-DS є власним запуском постачальника на похідних даних, і його виноска говорить, що результати не порівнянні з офіційними бенчмарками.

Запитання та відповіді

Чому об'єднання Polars 2.0 більше не зберігають рядки у вхідному порядку?

Виклик collect для ледачого запиту тепер за замовчуванням використовує потоковий механізм. Потокова передача розбиває запит на фрагменти, які виконуються паралельно, і фрагменти завершуються, коли вони завершуються. Для join, group_by та unpivot, випуск тому не обіцяє порядку рядків виводу. Тести, які порівнюють вихідний файл рядок за рядком із збереженим файлом, є першими, які, ймовірно, зламаються.

Дивіться цю частину 0:00 · Polars (pola.rs) · Polars documentation

Як повернути старий порядок рядків після оновлення до Polars 2.0?

Додайте явне сортування після об'єднання, що рекомендує посібник з міграції, або встановіть аргумент maintain_order для об'єднання. У запуску епізоду на Polars 2.0.0, внутрішнє об'єднання за замовчуванням повертало рядки не у вхідному порядку, тоді як maintain_order, встановлене на left_right, зберігало порядок. Це була одна машина, один запуск і одна форма об'єднання.

Дивіться цю частину 2:07 · Polars documentation

Чи може Polars 2.0 обробляти дані більші за пам'ять?

Частково. Витіснення з пам'яті за замовчуванням увімкнено, починаючи приблизно з 80 % оперативної пам'яті з бюджетом диска за замовчуванням 64 ГБ. Функції сортування, вікна та багато виразів тепер можуть витіснятися. Об'єднання та групування з позаядерним доступом знаходяться в дорожній карті, тому ці операції ще не витісняються.

Дивіться цю частину 0:56 · Polars (pola.rs) · Polars documentation

Чи можна довіряти порівнянням бенчмарків Polars 2.0 з DuckDB та DataFusion?

Розглядайте їх як власні заяви постачальника. Polars стверджує, що він перевершує DataFusion та DuckDB на TPC-H та TPC-DS, але цифри походять з його власних запусків на похідних даних, а його виноска говорить, що результати не можна порівнювати з офіційними бенчмарками. Polars також стверджує, що додаткові потоки великої машини уповільнюють невеликі запити.

Дивіться цю частину 1:17 · Polars (pola.rs) · Polars on GitHub

Чи безпечно оновлювати існуючі конвеєри Polars до версії 2.0?

Вердикт The Daily Diff був NEEDS REVIEW. Епізод переглядатиме кожне об'єднання перед оновленням, оскільки будь-яке об'єднання без сортування після нього є рішенням про порядок рядків, яке ніколи не було прийнято. Більш сувора типізація трохи допомагає, оскільки перевірка схеми виявляє відсутню колонку до того, як дані будуть прочитані, але перетворення, яке не вдається лише на одному рядку, не вдається лише під час collect.

Дивіться цю частину 2:20 · Polars documentation · Polars (pola.rs)

Перекладена стенограма

Перекладено з оригінальної англійської розповіді. Доступне аудіо та субтитри контролюються YouTube.

Чому змінився порядок за замовчуванням?

0:00 Ви думаєте, що об'єднання повертає вам рядки в тому порядку, в якому ви їх написали. Polars 2.0 припинив це обіцяти, за замовчуванням, навмисно. У цьому відео: чому змінилася поведінка за замовчуванням? Що це дало? І який з ваших скриптів зламається першим? Це The Daily Diff, за лаштунками. Polars – це бібліотека DataFrame з відкритим кодом: рушій таблиць, який ви викликаєте з Python,

0:20 з ядром, написаним на Rust. Він безкоштовний за ліцензією MIT, і ви встановлюєте його за допомогою pip install polars. Спочатку одна деталь. Перемикач, який повертає старий порядок, є аргументом самого об'єднання. Я повернуся до нього в кінці. Починаючи з 2.0, collect за замовчуванням запускає потоковий механізм. Потоковий механізм розділяє запит на частини, які виконуються паралельно, і частини завершуються, коли вони завершуються.

0:42 Для join, group by та unpivot, випуск не обіцяє порядку. Хто постраждає першим? Той, хто порівнює вихідні дані зі збереженим файлом, рядок за рядком. Цей тест може пройти на вашому ноутбуці і не пройти на іншій машині. Далі, посібник з міграції.

Що обіцяє посібник з міграції?

0:57 Він стверджує, що точний порядок рядків, показаний вище, не гарантується. Отже, якщо ви покладаєтеся на порядок, явно сортуйте. Вивантаження з пам'яті (Out-of-core) також увімкнено за замовчуванням. Воно починає вивантажувати дані на диск приблизно при вісімдесяти відсотках ОЗП, з бюджетом шістдесят чотири гігабайти. Сортування, віконні функції та багато виразів тепер можуть вивантажуватися. Об'єднання та групування вже на підході.

Чи є бенчмарк чесним змаганням?

1:17 Polars стверджує, що він перевершує DataFusion та DuckDB в бенчмарках TPC-H та TPC-DS. Числа походять з їхніх власних запусків, на похідних даних, і їхня виноска стверджує, що вони не порівнянні з офіційними результатами. Їхні власні числа говорять, що Polars прискорюється приблизно в три цілих вісім десятих рази з шістнадцяти ядер до ста дев'яноста двох, на TPC-H. Вони також стверджують, що додаткові потоки великої машини уповільнюють невеликі запити.

Що ми бачимо, коли запускаємо його?

1:41 Ми запускали те саме об'єднання двічі на Polars 2.0.0. Запуск за замовчуванням перемішує рядки. З прапорцем вхідний порядок зберігається. Знайдіть об'єднання, які подають дані для тесту. Будь-яке об'єднання без сортування після нього є рішенням щодо порядку рядків, яке ви ніколи не приймали. Polars 2.0 є суворішим щодо типів.

Чи означає суворіше раніше?

1:58 Перевірка схеми виявляє відсутню колонку до того, як будуть прочитані будь-які дані. Він не може виявити приведення типів, яке завершується помилкою на одному рядку, тому що ця помилка чекає на дані. Тепер цикл, який я відкрив.

Як повернути старий порядок?

2:08 Перемикач знаходиться на об'єднанні. Встановіть maintain_order на об'єднанні або додайте сортування після нього. Посібник пропонує сортування. Прапорець об'єднання зберіг порядок у нашому запуску, при цьому порядок лівої сторони зберігається як left, right. Вердикт, за лаштунками: NEEDS REVIEW.

Який вердикт?

2:22 Я б переглянув кожне об'єднання перед оновленням. Є питання щодо цього? Залиште його в коментарях. І це дифф на сьогодні. Я Ніко з Axrisi. Об'єднуйте відповідально.

Джерела

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Пов'язані відео

daily · uk · 7 жовт. 2026 р.

Hono обмежує зовнішні запити на витяги, оскільки розробники переглядають отримання внесків

Hono відключив створення зовнішніх запитів на витяги, зберігши код під ліцензією MIT. Сіндре Сорхус окремо пояснив свої власні обмеження репозиторію штучним інтелектом і заявив, що підтримка та обробк

5:22 ↗
daily · uk · 13 лист. 2026 р.

Патентний спір навколо драйвера DisplayLink для Linux: вимоги та покриття кодеків OIN

Патентні вимоги Synaptics зупинили прототип відкритого драйвера DisplayLink Майка Лотіана. Новий звіт LWN описує попередню кореспонденцію, умовну грошову вимогу та обмеження покриття кодеків OIN. Епіз

5:10 ↗
under-the-hood · uk · 17 жовт. 2026 р.

Продуктивність Python: рідні цикли NumPy, зворотні виклики та витрати на перетворення

Керований числовий тест лише для ЦП відстежує ідентичні значення через цикли CPython, арифметику NumPy, оболонку зворотного виклику Python і скомпільований цикл Numba. NumPy з готовим вводом мав велик

6:00 ↗