+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: почему объединения больше не сохраняют порядок строк

Polars 2.0 по умолчанию запускает collect на потоковом движке.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 по умолчанию запускает collect на потоковом движке. Для join, group_by и unpivot релиз больше не гарантирует порядок строк ввода, если вы явно не установите maintain_order или sort. В нашем запуске на polars 2.0.0, внутреннее объединение из 2 000 000 строк возвращало строки не в порядке ввода по умолчанию и сохраняло порядок при установленном maintain_order. Релиз также включает выгрузку данных за пределы оперативной памяти и делает заявления о бенчмарках собственными заявлениями поставщика.

Читать письменное издание (на английском) ↗

Что освещается в этом видео

  • Вызов collect() для ленивого запроса теперь по умолчанию использует потоковый движок, который не гарантирует порядок строк для join, group_by и unpivot.
  • Руководство по миграции говорит, что порядок больше не соответствует порядку до версии 2.0 и не гарантируется; оно рекомендует явную сортировку, если вы на нее полагаетесь.
  • В нашем запуске внутреннее объединение по умолчанию возвращало input order False; maintain_order="left_right" при объединении возвращало True. Одна машина, один запуск, одна форма объединения.
  • Выгрузка данных за пределы оперативной памяти включена по умолчанию: она начинается примерно с 80% оперативной памяти, с бюджетом в 64 ГБ по умолчанию на диске. Объединения и group_by за пределами оперативной памяти находятся в дорожной карте.
  • collect_schema() перехватывает отсутствующую колонку до того, как будут прочитаны какие-либо данные, но приведение типа, которое завершается с ошибкой только для одного значения, завершается с ошибкой только при collect().
  • Сравнение TPC-H и TPC-DS — это собственное тестирование поставщика на производных данных, и его сноска гласит, что результаты не сопоставимы с официальными бенчмарками.

Вопросы и ответы

Почему соединения Polars 2.0 больше не сохраняют строки в порядке их ввода?

Вызов collect для ленивого запроса теперь по умолчанию использует потоковый движок. Потоковая передача разбивает запрос на фрагменты, которые выполняются параллельно, и фрагменты завершаются, когда они завершаются. Для join, group_by и unpivot выпуск поэтому не обещает порядок строк вывода. Тесты, которые сравнивают вывод с сохраненным файлом построчно, являются первыми, которые, вероятно, сломаются.

Смотреть этот раздел 0:00 · Polars (pola.rs) · Polars documentation

Как мне вернуть старый порядок строк после обновления до Polars 2.0?

Добавьте явную сортировку после соединения, что рекомендуется в руководстве по миграции, или установите аргумент maintain_order для соединения. В ходе эпизода, выполненного на Polars 2.0.0, внутреннее соединение по умолчанию возвращало строки не в порядке ввода, в то время как maintain_order, установленный на left_right, сохранял порядок. Это была одна машина, один запуск и одна форма соединения.

Смотреть этот раздел 2:07 · Polars documentation

Может ли Polars 2.0 обрабатывать данные, превышающие объем памяти?

Частично. Выгрузка данных за пределы памяти включена по умолчанию, начиная примерно с 80 % ОЗУ с бюджетом диска по умолчанию в 64 ГБ. Сортировка, оконные функции и многие выражения теперь могут выгружаться. Выгрузка соединений и группировок за пределы памяти находится в планах, поэтому эти операции еще не выгружаются.

Смотреть этот раздел 0:56 · Polars (pola.rs) · Polars documentation

Могу ли я доверять результатам сравнения Polars 2.0 с DuckDB и DataFusion?

Относитесь к ним как к собственным заявлениям поставщика. Polars утверждает, что превосходит DataFusion и DuckDB в TPC-H и TPC-DS, но цифры получены из его собственных запусков на производных данных, а в сноске говорится, что результаты не сопоставимы с официальными бенчмарками. Polars также утверждает, что дополнительные потоки большой машины замедляют небольшие запросы.

Смотреть этот раздел 1:17 · Polars (pola.rs) · Polars on GitHub

Безопасно ли обновлять существующие конвейеры Polars до версии 2.0?

Вердикт The Daily Diff был NEEDS REVIEW. В эпизоде каждый join будет проверяться перед обновлением, потому что любой join без сортировки после него — это решение о порядке строк, которое никогда не принималось. Более строгая типизация немного помогает, так как проверка схемы обнаруживает отсутствующий столбец до чтения данных, но приведение типа, которое завершается ошибкой только в одной строке, завершается ошибкой только при collect.

Смотреть этот раздел 2:20 · Polars documentation · Polars (pola.rs)

Переведенная стенограмма

Переведено с оригинального английского повествования. Доступные аудио и субтитры контролируются YouTube.

Почему изменился порядок по умолчанию?

0:00 Вы думаете, что объединение возвращает строки в том порядке, в котором вы их написали. Polars 2.0 намеренно перестал обещать это по умолчанию. В этом видео: почему изменилось значение по умолчанию? Что это дало? И какой из ваших скриптов сломается первым? Это The Daily Diff, под капотом. Polars — это библиотека DataFrame с открытым исходным кодом: движок таблиц, который вы вызываете из Python,

0:20 с ядром, написанным на Rust. Он бесплатен по лицензии MIT, и вы устанавливаете его с помощью pip install polars. Сначала одна деталь. Переключатель, который возвращает старый порядок, является аргументом самого объединения. Я вернусь к нему в конце. Начиная с версии 2.0, collect по умолчанию запускает потоковый движок. Потоковая обработка разбивает запрос на части, которые выполняются параллельно, и части завершаются, когда они завершаются.

0:42 Для join, group by и unpivot, релиз не обещает порядка. Кто пострадает первым? Тот, кто сравнивает вывод с сохраненным файлом, строка за строкой. Этот тест может пройти на вашем ноутбуке и провалиться на другой машине. Далее, руководство по миграции.

Что обещает руководство по миграции?

0:57 В нем говорится, что точный порядок строк, показанный выше, не гарантируется. Поэтому, если вы полагаетесь на порядок, явно отсортируйте. Выгрузка данных за пределы оперативной памяти также включена по умолчанию. Она начинает выгружать данные на диск примерно при восьмидесяти процентах оперативной памяти, с бюджетом в шестьдесят четыре гигабайта. Сортировка, оконные функции и многие выражения теперь могут выгружать данные. Объединения и group-by будут добавлены.

Является ли бенчмарк честным соревнованием?

1:17 Polars заявляет, что превосходит DataFusion и DuckDB в бенчмарках TPC-H и TPC-DS. Числа получены из их собственных запусков, на производных данных, и их сноска гласит, что они не сопоставимы с официальными результатами. Их собственные числа говорят, что Polars становится примерно в три целых восемь десятых раза быстрее при переходе от шестнадцати ядер к ста девяноста двум, на TPC-H. Они также говорят, что дополнительные потоки большой машины замедляют небольшие запросы.

Что мы видим при его запуске?

1:41 Мы запустили то же самое объединение дважды на Polars 2.0.0. Запуск по умолчанию перемешивает строки. С флагом порядок ввода сохраняется. Найдите объединения, которые питают тест. Любое объединение без сортировки после него — это решение о порядке строк, которое вы никогда не принимали. Polars 2.0 более строг к типам.

Означает ли 'строже' 'раньше'?

1:58 Проверка схемы перехватывает отсутствующую колонку до того, как будут прочитаны какие-либо данные. Она не может перехватить приведение типа, которое завершается с ошибкой на одной строке, потому что эта ошибка ждет данных. Теперь цикл, который я открыл.

Как вернуть старый порядок?

2:08 Переключатель находится на объединении. Установите maintain_order для объединения или добавьте сортировку после него. Руководство предлагает сортировку. Флаг объединения сохранил порядок в нашем запуске, при этом порядок левой стороны сохранился как левая, правая. Вердикт, под капотом: NEEDS REVIEW.

Каков вердикт?

2:22 Я бы проверил каждое объединение перед обновлением. Есть вопросы по этому поводу? Задайте их в комментариях. И это The Daily Diff на сегодня. Я Нико из Axrisi. Объединяйте ответственно.

Источники

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Похожие видео

daily · ru · 7 окт. 2026 г.

Hono ограничивает внешние запросы на слияние, поскольку мейнтейнеры пересматривают порядок приема вкладов

Hono отключил создание внешних запросов на слияние, сохранив при этом свой код с лицензией MIT. Синдре Сорхус отдельно объяснил свои собственные ограничения на репозитории использованием ИИ и заявил,

5:22 ↗
daily · ru · 13 нояб. 2026 г.

Патентный спор с драйвером DisplayLink Linux: требования и охват кодеков OIN

Патентные требования Synaptics затормозили прототип открытого драйвера DisplayLink Майка Лотиана. Новый отчет LWN описывает более раннюю переписку, условное денежное требование и ограничение на покрыт

5:10 ↗
under-the-hood · ru · 17 окт. 2026 г.

Производительность Python: нативные циклы NumPy, колбэки и стоимость конвертации

Контролируемый числовой тест только на CPU отслеживает идентичные значения через циклы CPython, арифметику NumPy, обертку колбэка Python и скомпилированный цикл Numba. NumPy с готовыми входными данным

6:00 ↗