+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: яагаад нэгтгэлүүд мөрийн дарааллыг хадгалахаа больсон бэ

Polars 2.0 нь анхдагчаар стриминг хөдөлгүүр дээр "collect" функцийг ажиллуулдаг.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 нь анхдагчаар стриминг хөдөлгүүр дээр "collect" функцийг ажиллуулдаг. Нэгтгэх (join), бүлэглэх (group_by) болон unpivot үйлдлүүдийн хувьд, хэрэв та maintain_order эсвэл sort-ийг тодорхой заагаагүй бол мөрийн дарааллыг баталгаажуулахаа больсон. Polars 2.0.0 дээр бидний ажиллуулсан 2,000,000 мөрийн дотоод нэгтгэл (inner join) нь анхдагчаар мөрүүдийг оролтын дарааллаас гадуур буцааж, maintain_order-ийг тохируулсан үед дарааллыг хадгалсан. Мөн энэ хувилбар нь out-of-core spilling-ийг асааж, гүйцэтгэлийн үнэлгээний (benchmark) нэхэмжлэлийг худалдааны компанийн өөрийн болгосон.

Бичмэл хувилбарыг унших (Англи) ↗

Энэ видео юуг хамардаг

  • Lazy query дээр collect() дуудах нь одоо анхдагчаар стриминг хөдөлгүүрийг ашигладаг бөгөөд энэ нь join, group_by болон unpivot-ийн хувьд мөрийн дарааллыг баталгаажуулдаггүй.
  • Шилжүүлгийн гарын авлагад дараалал нь 2.0-оос өмнөх дараалал биш бөгөөд баталгаагүй гэж дурдсан; хэрэв та үүнд найдаж байгаа бол тодорхой эрэмбэлэх (sort) функцийг ашиглахыг зөвлөж байна.
  • Бидний ажиллуулсан туршилтаар, анхдагч дотоод нэгтгэл (inner join) оролтын дарааллыг True буцаагаагүй; харин нэгтгэл дээр maintain_order="left_right" тохируулгатай үед True буцаасан. Нэг машин, нэг ажиллагаа, нэг нэгтгэлийн хэлбэр.
  • Out-of-core spilling нь анхдагчаар идэвхжсэн байдаг: энэ нь RAM-ийн ойролцоогоор 80%-иас эхэлж диск рүү мэдээлэл хадгалдаг, анхдагч 64 GB дискний хязгаартай. Out-of-core join болон group_by нь хөгжүүлэлтийн төлөвлөгөөнд байна.
  • collect_schema() нь ямар нэгэн өгөгдөл уншигдахаас өмнө алга болсон баганыг илрүүлдэг боловч, нэг утга дээр амжилтгүй болсон cast нь зөвхөн collect() үед л алдааг илрүүлдэг.
  • TPC-H болон TPC-DS-ийн харьцуулалт нь худалдааны компанийн өөрийн гаргаж авсан өгөгдөл дээр хийсэн туршилт бөгөөд тайлбар хэсэгт үр дүн нь албан ёсны гүйцэтгэлийн үнэлгээнүүдтэй харьцуулах боломжгүй гэж заасан.

Түгээмэл асуултууд

Яагаад Polars 2.0-н нэгтгэлүүд оролтын дарааллыг хадгалахаа больсон бэ?

Одоо lazy асуулга дээр collect дуудах нь анхдагчаар стриминг хөдөлгүүрийг ашигладаг. Стриминг нь асуулгыг зэрэгцээ ажиллах хэсгүүдэд хуваадаг бөгөөд хэсгүүд дууссан үедээ дуусдаг. Тиймээс нэгтгэх, group_by болон unpivot-н хувьд энэ хувилбар нь гаралтын мөрийн дарааллыг амлахгүй. Гаралтыг хадгалсан файлтай мөрөөр харьцуулдаг тестүүд хамгийн түрүүнд эвдрэх магадлалтай.

Энэ хэсгийг үзэх 0:00 · Polars (pola.rs) · Polars documentation

Polars 2.0 руу шинэчилсний дараа би хуучин мөрийн дарааллыг хэрхэн буцааж авах вэ?

Нэгтгэсний дараа шууд эрэмбэлэх командыг нэмэх хэрэгтэй (энэ нь шилжилтийн гарын авлагад зөвлөсөн), эсвэл нэгтгэл дээр maintain_order аргументыг тохируулах хэрэгтэй. Polars 2.0.0 дээрх энэ ангийн ажиллагаанд анхдагч inner join нь оролтын дарааллаас гадуур мөрүүдийг буцааж байсан бол maintain_order-ийг left_right болгож тохируулах нь дарааллыг хадгалсан. Энэ нь нэг машин, нэг ажиллагаа, нэг нэгтгэлийн хэлбэр байсан.

Энэ хэсгийг үзэх 2:07 · Polars documentation

Polars 2.0 нь санах ойгоос том өгөгдлийг боловсруулж чадах уу?

Хэсэгчлэн. Out-of-core spilling нь анхдагчаар асаалттай байдаг бөгөөд 64 ГБ-ын анхдагч дискийн төсөвтэйгээр RAM-ын ойролцоогоор 80%-иас эхэлдэг. Эрэмбэлэх, цонхны функцууд болон олон илэрхийлэлтүүд одоо spilling хийж чадна. Out-of-core нэгтгэлүүд болон group-by-ууд нь төлөвлөгөөнд байгаа тул эдгээр үйлдлүүд одоогоор spilling хийхгүй байна.

Энэ хэсгийг үзэх 0:56 · Polars (pola.rs) · Polars documentation

Polars 2.0-ын DuckDB болон DataFusion-тай хийсэн харьцуулалтын үзүүлэлтүүдэд би итгэж болох уу?

Эдгээрийг худалдагчийн өөрийн нэхэмжлэл гэж үзээрэй. Polars нь TPC-H болон TPC-DS дээр DataFusion болон DuckDB-г ялсан гэж мэдэгддэг боловч тоонууд нь түүний өөрийн гаргасан өгөгдөл дээрх туршилтаас гаралтай бөгөөд түүний тайлбар тэмдэглэлд үр дүнг албан ёсны үзүүлэлтүүдтэй харьцуулах боломжгүй гэж заасан байдаг. Polars нь мөн том машины нэмэлт thread-үүд жижиг асуулгуудыг удаашруулдаг гэж хэлдэг.

Энэ хэсгийг үзэх 1:17 · Polars (pola.rs) · Polars on GitHub

Одоо байгаа Polars pipeline-уудыг 2.0 хувилбар руу шинэчлэх нь аюулгүй юу?

The Daily Diff-н дүгнэлт нь NEEDS REVIEW байсан. Энэ анги нь шинэчлэхээс өмнө нэгтгэл бүрийг хянаж үзэх байсан, учир нь дараа нь эрэмбэлэлтгүй нэгтгэл бүр нь хэзээ ч хийгдээгүй мөрийн дарааллын шийдвэр юм. Хатууруулагч төрөл нь бага зэрэг тусалдаг, учир нь схем шалгалт нь өгөгдөл уншигдахаас өмнө дутуу баганыг илрүүлдэг, гэхдээ нэг мөр дээр алдаа гарсан cast нь зөвхөн collect дээр л алдаа гардаг.

Энэ хэсгийг үзэх 2:20 · Polars documentation · Polars (pola.rs)

Орчуулсан бичлэг

Англи хэл дээрх эх хувилбараас орчуулсан. Боломжтой дуу болон хадмал орчуулгыг YouTube хянадаг.

Анхдагч дараалал яагаад өөрчлөгдсөн бэ?

0:00 Та нэгтгэл таны мөрүүдийг таны бичсэн дарааллаар буцааж өгнө гэж боддог. Polars 2.0 нь анхдагчаар, зориуд, үүнийг амлахаа больсон. Энэ видеонд: анхдагч тохиргоо яагаад өөрчлөгдсөн бэ? Энэ нь юуг авчирсан бэ? Мөн таны аль скрипт хамгийн түрүүнд эвдрэх вэ? Энэ бол The Daily Diff, дотоод талаас нь. Polars бол нээлттэй эхийн DataFrame сан: Python-оос дууддаг хүснэгтийн хөдөлгүүр,

0:20 үүний үндсэн код нь Rust хэлээр бичигдсэн. Энэ нь MIT лицензийн дор үнэ төлбөргүй бөгөөд та үүнийг pip install polars ашиглан суулгадаг. Эхлээд нэг жижиг зүйл. Хуучин дарааллыг буцааж авчирдаг шилжүүлэг нь нэгтгэлийн (join) өөрийнх нь аргумент юм. Би үүнд эцэст нь эргэж ирнэ. 2.0 хувилбараас хойш collect нь стриминг хөдөлгүүрийг анхдагчаар ажиллуулдаг. Стриминг нь query-г зэрэгцээ ажиллах хэсгүүдэд хуваадаг, мөн хэсгүүд ажиллаж дуусах үедээ дуусдаг.

0:42 Нэгтгэл (join), бүлэглэх (group by) болон unpivot-ийн хувьд энэ хувилбар нь дарааллыг амладаггүй. Хэн хамгийн түрүүнд өртөх вэ? Гаралтыг хадгалсан файлтай, мөрөөр мөрөөр харьцуулдаг хэн бүхэн. Тэр тест таны лаптоп дээр амжилттай болж, өөр машинд амжилтгүй болж болно. Дараа нь, шилжүүлгийн гарын авлага.

Шилжүүлгийн гарын авлага юу амлаж байна вэ?

0:57 Энэ нь дээр үзүүлсэн яг таг мөрийн дараалал баталгаагүй гэж заасан. Тиймээс, хэрэв та дараалалд найдаж байгаа бол тодорхой эрэмбэлнэ үү. Out-of-core нь бас анхдагчаар идэвхжсэн. Энэ нь RAM-ийн ойролцоогоор ная орчим хувьд хүрэхэд диск рүү мэдээлэл хадгалж эхэлдэг, жаран дөрвөн гигабайтын хязгаартай. Эрэмбэлэх (sort), цонхны функц (window functions) болон олон илэрхийлэлүүд одоо диск рүү хадгалах боломжтой. Нэгтгэлүүд (joins) болон бүлэглэлтүүд (group-bys) удахгүй нэмэгдэх болно.

Гүйцэтгэлийн үнэлгээ шударга байна уу?

1:17 Polars нь DataFusion болон DuckDB-г TPC-H болон TPC-DS гүйцэтгэлийн үнэлгээнүүд дээр ялдаг гэж мэдэгддэг. Тоо баримтууд нь тэдний өөрсдийн ажиллуулсан, гаргаж авсан өгөгдөл дээрээс авсан, мөн тэдний тайлбар хэсэгт албан ёсны үр дүнгүүдтэй харьцуулах боломжгүй гэж заасан. Тэдний өөрсдийн тоо баримтууд нь Polars нь TPC-H дээр арван зургаагаас нэг зуун ерэн хоёр цөм рүү шилжихэд ойролцоогоор гурав цэг найман дахин хурдан болдог гэж заасан. Тэд мөн том машины нэмэлт thread-үүд нь жижиг query-г удаашруулдаг гэж хэлсэн.

Бид үүнийг ажиллуулах үед юу хардаг вэ?

1:41 Бид Polars 2.0.0 дээр ижил нэгтгэлийг хоёр удаа ажиллуулсан. Анхдагч ажиллагаа нь мөрүүдийг хутгасан. Тугийг ашиглахад оролтын дараалал хадгалагдсан. Тестэнд мэдээлэл өгдөг нэгтгэлүүдийг олоорой. Дараа нь эрэмбэлэхгүйгээр хийгдсэн аливаа нэгтгэл нь таны хэзээ ч хийгээгүй мөрийн дарааллын шийдвэр юм. Polars 2.0 нь төрлүүдийн хувьд илүү хатуу болсон.

Хатуу байх нь эрт байх гэсэн үг үү?

1:58 Схем шалгалт нь ямар нэгэн өгөгдөл уншигдахаас өмнө алга болсон баганыг илрүүлдэг. Энэ нь нэг мөр дээр амжилтгүй болсон cast-ийг илрүүлж чадахгүй, учир нь тэр алдаа нь өгөгдлийг хүлээдэг. Одоо миний нээсэн гогцоо.

Би хуучин дарааллыг яаж буцааж авах вэ?

2:08 Шилжүүлэг нь нэгтгэл дээр байрладаг. Нэгтгэл дээр maintain_order-ийг тохируулах, эсвэл дараа нь эрэмбэлэх (sort) функцийг нэмэх. Удирдамж нь эрэмбэлэх функцийг санал болгож байна. Нэгтгэлийн туг нь бидний ажиллуулсан туршилтаар дарааллыг хадгалсан, зүүн талын дарааллыг зүүн, баруун гэж хадгалсан. Дүгнэлт, дотоод талаас нь: хянах шаардлагатай.

Дүгнэлт юу вэ?

2:22 Би шинэчлэхээс өмнө бүх нэгтгэлийг хянаж үзэх байсан. Энэ талаар асуулт байна уу? Сэтгэгдэл хэсэгт үлдээгээрэй. Тэгээд энэ өдрийн ялгаа энэ байна. Би Axrisi-аас Нико байна. Хариуцлагатай нэгтгэхийг хүсье.

Эх сурвалжууд

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Холбогдох видеонууд

daily · mn · 2026 оны 10-р сарын 7

Хонё хадгалагчдыг хувь нэмэр оруулахыг эргэн харж, гадны таталтын хүсэлтийг хязгаарлав

Хонё MIT лицензтэй кодыг хадгалахын зэрэгцээ гадны татах хүсэлт үүсгэхийг идэвхгүй болгосон. Синдре Сорхус өөрийн репозиторийн хязгаарлалтыг хиймэл оюун ухаанд хамааруулж, засвар үйлчилгээ болон асууд

5:22 ↗
daily · mn · 2026 оны 11-р сарын 13

DisplayLink Linux драйверийн патентын маргаан: шаардлага ба OIN кодек хамрах хүрээ

Synaptics-ийн патентын шаардлага Майк Лотианы нээлттэй DisplayLink драйверийн прототипийг зогсоосон. LWN-ийн шинэ тайланд хуучин захидал харилцаа, нөхцөлт мөнгөн шаардлага, OIN кодек-хамрах хязгаарлал

5:10 ↗
under-the-hood · mn · 2026 оны 10-р сарын 17

Python гүйцэтгэл: унаган NumPy давталт, буцаан дуудлага, хувиргалтын зардал

Хяналттай зөвхөн CPU дээрх тоон тест нь CPython давталт, NumPy арифметик, Python буцаан дуудлагын боодол, мөн эмхэтгэсэн Numba давталтаар ижил утгуудыг дамжуулдаг. Бэлэн оролттой NumPy ихээхэн давуу т

6:00 ↗