Polars 2.0: niyə birləşmələr (join) artıq sətir qaydasını saxlamır
Polars 2.0 defolt olaraq yayımlanma mühərrikində "collect" əməliyyatını həyata keçirir.
Polars 2.0 defolt olaraq yayımlanma mühərrikində "collect" əməliyyatını həyata keçirir. Birləşmə, qruplama və sütunları açma əməliyyatları üçün, bu versiya "maintain_order" və ya "sort" açıq şəkildə təyin edilmədiyi təqdirdə daxil olan sətirlərin ardıcıllığını təmin etmir. Polars 2.0.0-da apardığımız sınaqda, 2.000.000 sətirlik daxili birləşmə defolt olaraq sətirləri daxili ardıcıllıqdan kənar qaydada qaytardı və "maintain_order" təyin edildikdə qaydanı qorudu. Bu versiya həmçinin yaddaş xaricində daşqını işə salır və bençmark iddialarını satıcının özünə aid edir.
Yazılı nəşri oxuyun (İngiliscə) ↗
Bu videoda nələr əhatə olunur
- Ləng sorğuda collect() çağırılması artıq defolt olaraq axın mühərrikindən istifadə edir ki, bu da birləşmə, qruplama və sütunları açma üçün sətir qaydasını təmin etmir.
- Miqrasiya bələdçisi bildirir ki, sətir qaydası artıq 2.0-dan əvvəlki qayda deyil və təmin edilmir; əgər siz ona güvənirsinizsə, açıq şəkildə sıralama tövsiyə edir.
- Bizim sınağımızda, defolt daxili birləşmə daxili qaydanı Yanlış qaytardı; birləşmədə maintain_order="left_right" Doğru qaytardı. Bir maşın, bir sınaq, bir birləşmə forması.
- Nüvə xaricində daşqın defolt olaraq aktivdir: təxminən 80% RAM-dan başlayır, 64 GB defolt disk büdcəsi ilə. Nüvə xaricində birləşmə və qruplama yol xəritəsindədir.
- collect_schema() hər hansı bir məlumat oxunmadan əvvəl çatışmayan sütunu tutur, lakin yalnız bir dəyərdə uğursuz olan bir çevirmə yalnız collect() zamanı uğursuz olur.
- TPC-H və TPC-DS müqayisəsi satıcının törəmə məlumatlar üzərində apardığı öz sınağıdır və onun qeydində nəticələrin rəsmi bençmarklarla müqayisə edilə bilməyəcəyi bildirilir.
Suallar və cavablar
Niyə Polars 2.0 birləşmələri artıq sətrləri giriş qaydasında saxlamır?
Tənbəl sorğu üzərində `collect` funksiyasını çağırmaq indi defolt olaraq axın mühərrikindən istifadə edir. Axın sorğunu paralel işləyən hissələrə bölür və hissələr bitdikcə tamamlanır. Birləşmə, `group_by` və `unpivot` üçün buraxılış buna görə çıxış sətrinin ardıcıllığına zəmanət vermir. Çıxışı saxlanılan faylla sətr-sətr müqayisə edən testlər ilk sınanlar ola bilər.
Polars 2.0-a yüksəltdikdən sonra köhnə sətir ardıcıllığını necə geri qaytara bilərəm?
Birləşmədən sonra açıq bir çeşidləmə əlavə edin, bu da miqrasiya təlimatının tövsiyə etdiyi şeydir, ya da birləşmədə `maintain_order` arqumentini təyin edin. Polars 2.0.0-da epizodun işləməsi zamanı, defolt daxili birləşmə giriş qaydasından kənar sətrlər qaytardı, `maintain_order` `left_right` olaraq təyin edildikdə isə qayda saxlanıldı. Bu bir maşın, bir işləmə və bir birləşmə forması idi.
Polars 2.0 yaddaşdan daha böyük məlumatları emal edə bilirmi?
Qismən. Nüvədən kənar daşma defolt olaraq açıqdır, təxminən 64 GB defolt disk büdcəsi ilə RAM-ın 80%-dən başlayır. Çeşidləmə, pəncərə funksiyaları və bir çox ifadələr indi daşa bilər. Nüvədən kənar birləşmələr və `group-by` funksiyaları yol xəritəsindədir, buna görə bu əməliyyatlar hələ daşmır.
Polars 2.0-ın DuckDB və DataFusion ilə müqayisəli etalonlarına etibar edə bilərəmmi?
Bunları satıcının öz iddiaları kimi qəbul edin. Polars TPC-H və TPC-DS-də DataFusion və DuckDB-ni üstələdiyini iddia edir, lakin rəqəmlər onun törəmə məlumatlar üzərində öz işləmələrinə əsaslanır və onun qeydində nəticələrin rəsmi etalonlarla müqayisə edilə bilməyəcəyi qeyd olunur. Polars həmçinin böyük maşının əlavə threadlərinin kiçik sorğuları yavaşlatdığını deyir.
Mövcud Polars boru kəmərlərini 2.0 versiyasına yüksəltmək təhlükəsizdirmi?
The Daily Diff-in qərarı NEEDS REVIEW idi. Epizod yüksəltməzdən əvvəl hər bir birləşməni nəzərdən keçirərdi, çünki ondan sonra çeşidləmə olmayan hər hansı bir birləşmə heç vaxt verilməmiş bir sətir ardıcıllığı qərarıdır. Daha sərt tipləmə bir az kömək edir, çünki sxem yoxlaması məlumat oxunmazdan əvvəl itkin bir sütunu tutur, lakin yalnız bir sətirdə uğursuz olan bir çevirmə yalnız `collect` zamanı uğursuz olur.
Tərcümə olunmuş transkript
Orijinal ingilis dilindəki nəqldən tərcümə edilmişdir. Mövcud audio və subtitrlər YouTube tərəfindən idarə olunur.
Niyə defolt qayda dəyişdi?
0:00 Düşünürsünüz ki, birləşmə sətirlərinizi yazdığınız qaydada geri qaytarır. Polars 2.0 bunu qəsdən, defolt olaraq vəd etməyi dayandırdı. Bu videoda: niyə defolt dəyişdi? Nə qazandırdı? Və skriptlərinizin hansı birinci xarab olacaq? Bu, The Daily Diff, pərdə arxasında. Polars açıq mənbəli DataFrame kitabxanasıdır: Python-dan çağırdığınız bir cədvəl mühərriki,
0:20 əsas hissəsi Rust-da yazılmışdır. MIT lisenziyası altında pulsuzdur və onu pip install polars ilə quraşdırırsınız. Əvvəlcə bir detal. Köhnə qaydanı geri qaytaran açar birləşmənin özünə bir arqumentdir. Sonda ona qayıdacağam. 2.0-dan bəri, collect defolt olaraq axın mühərrikini işlədir. Axın sorğunu paralel işləyən hissələrə bölür, və hissələr işlədikləri zaman bitir.
0:42 Birləşmə, qruplama və sütunları açma üçün bu versiya bir sıra vəd etmir. Kim birinci zərbə alır? Hər kəs çıxışı yadda saxlanmış faylla sətirbəsətir müqayisə edir. Bu test noutbukunuzda keçə bilər, lakin başqa bir maşında uğursuz ola bilər. Növbəti, miqrasiya bələdçisi.
Miqrasiya bələdçisi nə vəd edir?
0:57 Deyir ki, yuxarıda göstərilən sətir qaydası təmin edilmir. Beləliklə, əgər qaydaya güvənirsinizsə, açıq şəkildə sıralayın. Nüvə xaricində iş də defolt olaraq aktivdir. RAM-ın təxminən səksən faizində diskə daşmağa başlayır, altmış dörd giqabaytlıq büdcə ilə. Sıralama, pəncərə funksiyaları və bir çox ifadə indi daşa bilər. Birləşmələr və qruplamalar gəlir.
Bençmark ədalətli döyüşdürmü?
1:17 Polars deyir ki, TPC-H və TPC-DS bençmarklarında DataFusion və DuckDB-ni üstələyir. Rəqəmlər öz sınaqlarından, törəmə məlumatlar üzərindədir, və onların qeydində rəsmi nəticələrlə müqayisə edilə bilməyəcəkləri bildirilir. Onların öz rəqəmləri deyir ki, Polars TPC-H-də on altı nüvədən yüz doxsan iki nüvəyə qədər təxminən üç nöqtə səkkiz dəfə daha sürətli olur. Onlar həmçinin deyirlər ki, böyük maşının əlavə ipləri kiçik sorğuları yavaşladır. Biz eyni birləşməni Polars 2.0.0-da iki dəfə işlətdik.
Onu işə saldığımızda nə görürük?
1:41 Defolt işləmə sətirləri qarışdırır. Bayraqla, giriş qaydası saxlanılır. Testi bəsləyən birləşmələri tapın. Arxasında sıralama olmayan hər hansı bir birləşmə, heç vaxt vermədiyiniz bir sətir qaydası qərarıdır. Polars 2.0 tiplər haqqında daha sərtdir. Şema yoxlaması hər hansı bir məlumat oxunmadan əvvəl çatışmayan sütunu tutur.
Daha sərt olmaq daha əvvəl deməkdirmi?
1:58 Bir sətirdə uğursuz olan bir çevirməni tuta bilməz, çünki bu səhv məlumatı gözləyir. İndi açdığım döngə. Açar birləşmə üzərində yaşayır.
Köhnə qaydanı necə geri qaytarıram?
2:08 Birləşmədə maintain order təyin edin, ya da ondan sonra bir sıralama əlavə edin. Bələdçi sıralama təklif edir. Birləşmə bayrağı bizim işimizdə qaydanı qorudu, sol tərəfin qaydası sol, sağ olaraq saxlandı. Hökm, pərdə arxasında: NEEDS REVIEW. Yeniləmədən əvvəl hər bir birləşməni nəzərdən keçirərdim.
Hökm nədir?
2:22 Bununla bağlı bir sualınız varmı? Şərhlərdə yazın. Və bugünkü fərq budur. Mən Axrisi-dən Nikonam. Məsuliyyətli şəkildə birləşdirin. Məsuliyyətli şəkildə birləşdirin.
Mənbələr
- Release of Polars 2.0Polars (pola.rs)
- Polars 2.0 upgrade guidePolars documentation
- Polars homepagePolars (pola.rs)
- polars-2.0-benchmark repositoryPolars on GitHub
- Release of Polars 2.0 (Hacker News discussion)Hacker News



