+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: Birleştirmeler neden artık satır sırasını korumuyor?

Polars 2.0, varsayılan olarak bir akış motorunda 'collect' çalıştırır.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0, varsayılan olarak bir akış motorunda 'collect' çalıştırır. 'join', 'group_by' ve 'unpivot' için, 'maintain_order' veya 'sort' açıkça ayarlanmadıkça, bu sürüm artık girdi satır sırasını garanti etmez. Polars 2.0.0'daki çalışmamızda, 2.000.000 satırlık bir iç birleştirme, varsayılan olarak satırları girdi sırasının dışında döndürdü ve 'maintain_order' ayarıyla sırayı korudu. Sürüm ayrıca çekirdek dışı taşmayı da açar ve kıyaslama iddialarını satıcının kendi iddiaları haline getirir.

Yazılı sürümü oku (İngilizce) ↗

Bu video neleri kapsar

  • Tembel bir sorguda collect() çağırmak artık varsayılan olarak akış motorunu kullanır ve bu, join, group_by ve unpivot için satır sırasını garanti etmez.
  • Geçiş kılavuzu, sıranın artık 2.0 öncesi sıra olmadığını ve garanti edilmediğini belirtir; buna güveniyorsanız açık bir sıralama önerir.
  • Çalışmamızda, varsayılan bir iç birleştirme girdi sırasını Yanlış döndürdü; birleştirmede maintain_order="left_right" ayarı Doğru döndürdü. Bir makine, bir çalıştırma, bir birleştirme şekli.
  • Çekirdek dışı taşma varsayılan olarak açıktır: RAM'in yaklaşık %80'inde başlar, varsayılan 64 GB disk bütçesiyle. Çekirdek dışı birleştirme ve group_by yol haritasında.
  • collect_schema() herhangi bir veri okunmadan önce eksik bir sütunu yakalar, ancak tek bir değerde başarısız olan bir dönüştürme yalnızca collect()'te başarısız olur.
  • TPC-H ve TPC-DS karşılaştırması, satıcının türetilmiş veriler üzerindeki kendi çalışmasıdır ve dipnotu, sonuçların resmi kıyaslamalarla karşılaştırılamayacağını belirtir.

Sorular ve cevaplar

Polars 2.0 birleştirmeleri neden artık satırları giriş sırasına göre tutmuyor?

Bir tembel sorguda collect çağırmak artık varsayılan olarak akış motorunu kullanıyor. Akış, sorguyu paralel çalışan parçalara böler ve parçalar bittiklerinde sona erer. Birleştirme, group_by ve unpivot için bu nedenle sürüm, çıktı satırı sırası sözü vermez. Çıktıyı kaydedilmiş bir dosyayla satır satır karşılaştıran testler ilk bozulabilecek testlerdir.

Bu kısmı izle 0:00 · Polars (pola.rs) · Polars documentation

Polars 2.0'a yükselttikten sonra eski satır sırasını nasıl geri alırım?

Birleştirmeden sonra açık bir sıralama ekleyin, bu geçiş kılavuzunun önerdiği şeydir veya birleştirmede maintain_order argümanını ayarlayın. Bölümün Polars 2.0.0 üzerindeki çalışmasında, varsayılan bir iç birleştirme satırları giriş sırasının dışında döndürürken, maintain_order sol_sağ olarak ayarlandığında sırayı korudu. Bu tek bir makine, tek bir çalıştırma ve tek bir birleştirme şekliydi.

Bu kısmı izle 2:07 · Polars documentation

Polars 2.0, bellekten daha büyük verileri işleyebilir mi?

Kısmen. Çekirdek dışı taşma varsayılan olarak açıktır, 64 GB varsayılan disk bütçesiyle RAM'in yaklaşık %80'inden başlar. Sıralama, pencere işlevleri ve birçok ifade artık taşabilir. Çekirdek dışı birleştirmeler ve group-by'lar yol haritasında, bu nedenle bu işlemler henüz taşmıyor.

Bu kısmı izle 0:56 · Polars (pola.rs) · Polars documentation

Polars 2.0'ın DuckDB ve DataFusion ile kıyaslama karşılaştırmalarına güvenebilir miyim?

Bunları satıcının kendi iddiaları olarak ele alın. Polars, TPC-H ve TPC-DS'de DataFusion ve DuckDB'yi yendiğini söylüyor, ancak sayılar kendi türetilmiş verilerindeki çalıştırmalarından geliyor ve dipnotu sonuçların resmi kıyaslamalarla karşılaştırılamayacağını belirtiyor. Polars ayrıca büyük makinenin ekstra iş parçacıklarının küçük sorguları yavaşlattığını söylüyor.

Bu kısmı izle 1:17 · Polars (pola.rs) · Polars on GitHub

Mevcut Polars işlem hatlarını sürüm 2.0'a yükseltmek güvenli midir?

The Daily Diff'in kararı NEEDS REVIEW idi. Bölüm, yükseltmeden önce her bir birleştirmeyi gözden geçirirdi, çünkü sonrasında bir sıralama olmayan herhangi bir birleştirme, hiçbir zaman verilmemiş bir satır sırası kararıdır. Daha sıkı yazım, şema denetimi veri okunmadan önce eksik bir sütunu yakaladığı için biraz yardımcı olur, ancak yalnızca tek bir satırda başarısız olan bir dönüştürme yalnızca collect'te başarısız olur.

Bu kısmı izle 2:20 · Polars documentation · Polars (pola.rs)

Çevrilmiş deşifre

Orijinal İngilizce anlatımdan çevrilmiştir. Mevcut ses ve altyazılar YouTube tarafından kontrol edilir.

Varsayılan sıra neden değişti?

0:00 Bir birleştirmenin satırlarınızı yazdığınız sırayla geri verdiğini düşünüyorsunuz. Polars 2.0, varsayılan olarak bunu kasıtlı olarak vaat etmeyi bıraktı. Bu videoda: varsayılan neden değişti? Ne kazandırdı? Ve hangi betikleriniz önce bozulacak? Bu, The Daily Diff, perde arkası. Polars, açık kaynaklı bir DataFrame kütüphanesidir: Python'dan çağırdığınız bir tablo motoru,

0:20 çekirdeği Rust ile yazılmış. MIT lisansı altında ücretsizdir ve pip install polars ile kurarsınız. Önce bir detay. Eski sırayı geri getiren anahtar, birleştirmenin kendisine bir argümandır. Buna en sonda geri döneceğim. 2.0'dan beri, 'collect' varsayılan olarak akış motorunu çalıştırır. Akış, sorguyu paralel çalışan parçalara böler, ve parçalar bittiğinde biter.

0:42 Birleştirme, gruplama ve sütunları satırlara dönüştürme için, sürüm bir sıra vaat etmez. Kim önce etkilenir? Çıktıyı kaydedilmiş bir dosyayla satır satır karşılaştıran herkes. Bu test dizüstü bilgisayarınızda geçebilir ve farklı bir makinede başarısız olabilir. Sırada, geçiş kılavuzu.

Geçiş kılavuzu ne vaat ediyor?

0:57 Yukarıda gösterilen tam satır sırasının garanti edilmediğini söylüyor. Bu nedenle, sıraya güveniyorsanız, açıkça sıralayın. Çekirdek dışı varsayılan olarak da açıktır. RAM'in yaklaşık yüzde sekseninde diske taşmaya başlar, altmış dört gigabaytlık bir bütçeyle. Sıralama, pencere fonksiyonları ve birçok ifade artık taşabilir. Birleştirmeler ve gruplamalar geliyor.

Kıyaslama adil bir mücadele mi?

1:17 Polars, TPC-H ve TPC-DS kıyaslamalarında DataFusion ve DuckDB'yi yendiğini söylüyor. Sayılar, türetilmiş veriler üzerindeki kendi çalışmalarından geliyor, ve dipnotu, resmi sonuçlarla karşılaştırılamayacağını söylüyor. Kendi sayıları, Polars'ın TPC-H'de on altı çekirdekten yüz doksan ikiye yaklaşık üç nokta sekiz kat hızlandığını söylüyor. Ayrıca büyük makinenin ekstra iş parçacıklarının küçük sorguları yavaşlattığını da belirtiyorlar. Polars 2.0.0'da aynı birleştirmeyi iki kez çalıştırdık.

Çalıştırdığımızda ne görüyoruz?

1:41 Varsayılan çalıştırma satırları karıştırır. Bayrakla birlikte girdi sırası korunur. Bir testi besleyen birleştirmeleri bulun. Arkasında sıralama olmayan herhangi bir birleştirme, asla yapmadığınız bir satır sırası kararıdır. Polars 2.0, türler konusunda daha katıdır. Şema kontrolü, herhangi bir veri okunmadan önce eksik bir sütunu yakalar.

Daha katı olmak daha erken anlamına mı geliyor?

1:58 Tek bir satırda başarısız olan bir dönüştürmeyi yakalayamaz, çünkü bu hata veriyi bekler. Şimdi açtığım döngüye gelelim. Anahtar birleştirmenin üzerindedir.

Eski sırayı nasıl geri alırım?

2:08 Birleştirmede maintain_order'ı ayarlayın veya arkasına bir sıralama ekleyin. Kılavuz sıralamayı önerir. Birleştirme bayrağı, çalışmamızda sırayı korudu, sol tarafın sırası sol, sağ olarak korundu. Perde arkası karar: İNCELENMELİ. Yükseltmeden önce her birleştirmeyi incelerdim.

Karar nedir?

2:22 Bununla ilgili bir sorunuz mu var? Yorumlara yazın. Ve bugünkü fark bu kadar. Ben Axrisi'den Niko. Sorumlu bir şekilde birleştirin. Sorumlu bir şekilde birleştirin.

Kaynaklar

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

İlgili videolar