+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: რატომ აღარ ინარჩუნებს შეერთებები რიგების თანმიმდევრობას

Polars 2.0 ნაგულისხმევად აგროვებს მონაცემებს ნაკადოვან ძრავზე.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 ნაგულისხმევად აგროვებს მონაცემებს ნაკადოვან ძრავზე. შეერთების, დაჯგუფებისა და „უნპივოტის“ შემთხვევაში, გამოშვება აღარ იძლევა შეყვანილი რიგების თანმიმდევრობის გარანტიას, თუ თქვენ არ დააყენებთ maintain_order-ს ან არ დაალაგებთ მათ მკაფიოდ. Polars 2.0.0-ზე ჩვენს გაშვებაში, 2,000,000-რიგიანი შიდა შეერთებამ ნაგულისხმევად დააბრუნა რიგები შეყვანის თანმიმდევრობის დარღვევით და შეინარჩუნა თანმიმდევრობა maintain_order-ის დაყენებით. გამოშვება ასევე რთავს „out-of-core spilling“-ს და გამყიდველის საკუთრებას ხდის ბენჩმარკის პრეტენზიებს.

წაიკითხეთ წერილობითი გამოცემა (ინგლისური) ↗

რას მოიცავს ეს ვიდეო

  • lazy query-ზე collect()-ის გამოძახება ახლა ნაგულისხმევად იყენებს ნაკადოვან ძრავას, რომელიც არ იძლევა რიგების თანმიმდევრობის გარანტიას შეერთების, დაჯგუფებისა და „უნპივოტის“ შემთხვევაში.
  • მიგრაციის სახელმძღვანელო ამბობს, რომ თანმიმდევრობა აღარ არის 2.0-მდელი თანმიმდევრობა და არ არის გარანტირებული; ის გირჩევთ მკაფიო დალაგებას, თუ მასზე ხართ დამოკიდებული.
  • ჩვენს გაშვებაში, ნაგულისხმევმა შიდა შეერთებამ დააბრუნა შეყვანის თანმიმდევრობა False; maintain_order="left_right" შეერთებაზე დააბრუნა True. ერთი მანქანა, ერთი გაშვება, ერთი შეერთების ფორმა.
  • Out-of-core spilling ნაგულისხმევად ჩართულია: ის იწყება ოპერატიული მეხსიერების დაახლოებით 80 %-ზე, 64 GB ნაგულისხმევი დისკის ბიუჯეტით. Out-of-core შეერთება და დაჯგუფება გეგმაშია.
  • collect_schema() იჭერს გამოტოვებულ სვეტს რაიმე მონაცემის წაკითხვამდე, მაგრამ cast, რომელიც ერთ მნიშვნელობაზე მარცხდება, მარცხდება მხოლოდ collect()-ზე.
  • TPC-H და TPC-DS შედარება არის გამყიდველის საკუთარი გაშვება მიღებულ მონაცემებზე, და მის სქოლიოში ნათქვამია, რომ შედეგები არ არის შედარებადი ოფიციალურ ბენჩმარკებთან.

კითხვები და პასუხები

რატომ აღარ ინარჩუნებს Polars 2.0-ის გაერთიანებები რიგებს შეყვანის თანმიმდევრობით?

ზარმაცი მოთხოვნის შეგროვება ახლა ნაგულისხმევად იყენებს სტრიმინგის ძრავას. სტრიმინგი მოთხოვნას ყოფს ნაწილებად, რომლებიც პარალელურად მუშაობენ და ეს ნაწილები სრულდება, როცა სრულდება. გაერთიანებისთვის, group_by-სთვის და unpivot-ისთვის, გამოშვება არ გვპირდება გამომავალი რიგის თანმიმდევრობას. ტესტები, რომლებიც გამომავალს ინახავს ფაილს რიგ-რიგობით, სავარაუდოდ პირველი გაფუჭდება.

უყურეთ ამ ნაწილს 0:00 · Polars (pola.rs) · Polars documentation

როგორ დავაბრუნო ძველი რიგის თანმიმდევრობა Polars 2.0-ზე განახლების შემდეგ?

გაერთიანების შემდეგ დაამატეთ აშკარა დახარისხება, რასაც მიგრაციის გზამკვლევი გვირჩევს, ან დააყენეთ maintain_order არგუმენტი გაერთიანებაზე. ეპიზოდის გაშვებისას Polars 2.0.0-ზე, ნაგულისხმევმა შიდა გაერთიანებამ დააბრუნა რიგები შეყვანის თანმიმდევრობის გარეშე, მაშინ როცა maintain_order დაყენებულმა left_right-ზე შეინარჩუნა თანმიმდევრობა. ეს იყო ერთი მანქანა, ერთი გაშვება და ერთი გაერთიანების ფორმა.

უყურეთ ამ ნაწილს 2:07 · Polars documentation

შეუძლია თუ არა Polars 2.0-ს მეხსიერებაზე დიდი მონაცემების დამუშავება?

ნაწილობრივ. Out-of-core spilling ჩართულია ნაგულისხმევად, დაწყებული RAM-ის დაახლოებით 80%-დან, 64 GB ნაგულისხმევი დისკის ბიუჯეტით. დახარისხება, ფანჯრის ფუნქციები და მრავალი გამოსახულება ახლა უკვე შეიძლება დაიღვაროს. Out-of-core გაერთიანებები და group-bys გეგმაშია, ასე რომ ეს ოპერაციები ჯერ არ იღვრება.

უყურეთ ამ ნაწილს 0:56 · Polars (pola.rs) · Polars documentation

შემიძლია ვენდო Polars 2.0-ის ბენჩმარკის შედარებებს DuckDB-სა და DataFusion-თან?

მოეპყარით მათ, როგორც მიმწოდებლის საკუთარ პრეტენზიებს. Polars ამბობს, რომ ის სჯობს DataFusion-ს და DuckDB-ს TPC-H-სა და TPC-DS-ზე, მაგრამ რიცხვები მოდის მისი საკუთარი გაშვებებიდან წარმოებულ მონაცემებზე, და მის სქოლიოში ნათქვამია, რომ შედეგები არ არის შედარებადი ოფიციალურ ბენჩმარკებთან. Polars ასევე ამბობს, რომ დიდი მანქანის დამატებითი ძაფები ანელებს მცირე მოთხოვნებს.

უყურეთ ამ ნაწილს 1:17 · Polars (pola.rs) · Polars on GitHub

უსაფრთხოა თუ არა არსებული Polars კონვეიერების განახლება ვერსია 2.0-ზე?

The Daily Diff-ის ვერდიქტი იყო NEEDS REVIEW. ეპიზოდი განაახლებამდე გადახედავდა ყოველ გაერთიანებას, რადგან ნებისმიერი გაერთიანება, რომელსაც არ აქვს დახარისხება, არის რიგის თანმიმდევრობის გადაწყვეტილება, რომელიც არასოდეს ყოფილა მიღებული. უფრო მკაცრი ტიპირება ცოტათი ეხმარება, რადგან სქემის შემოწმება იჭერს დაკარგულ სვეტს მონაცემების წაკითხვამდე, მაგრამ ასეთი, რომელიც ერთ რიგზე ვერ ხერხდება, მხოლოდ შეგროვებისას ვერ ხერხდება.

უყურეთ ამ ნაწილს 2:20 · Polars documentation · Polars (pola.rs)

ნათარგმნი ტრანსკრიპტი

ნათარგმნია ორიგინალური ინგლისური ნარატივიდან. ხელმისაწვდომი აუდიო და სუბტიტრები კონტროლდება YouTube-ის მიერ.

რატომ შეიცვალა ნაგულისხმევი თანმიმდევრობა?

0:00 თქვენ ფიქრობთ, რომ შეერთება გიბრუნებთ რიგებს იმ თანმიმდევრობით, რა თანმიმდევრობითაც თქვენ დაწერეთ ისინი. Polars 2.0-მა მიზანმიმართულად შეწყვიტა ამის დაპირება, ნაგულისხმევად. ამ ვიდეოში: რატომ შეიცვალა ნაგულისხმევი? რა მოიტანა მან? და რომელი თქვენი სკრიპტი გაფუჭდება პირველი? ეს არის The Daily Diff, "კაპოტის ქვეშ". Polars არის ღია კოდის DataFrame ბიბლიოთეკა: ცხრილების ძრავა, რომელსაც იძახებთ Python-დან,

0:20 რომლის ბირთვიც Rust-შია დაწერილი. ის უფასოა MIT ლიცენზიის ქვეშ, და მას აყენებთ pip install polars-ით. პირველ რიგში, ერთი დეტალი. გადამრთველი, რომელიც აბრუნებს ძველ წესრიგს, არის არგუმენტი თავად შეერთებისთვის. მე დავუბრუნდები მას ბოლოს. 2.0 ვერსიიდან, collect ნაგულისხმევად აწარმოებს ნაკადოვან ძრავას. ნაკადი ყოფს მოთხოვნას ნაწილებად, რომლებიც მუშაობენ პარალელურად, და ნაწილები მთავრდება, როდესაც ისინი მთავრდება.

0:42 შეერთების, დაჯგუფების და „უნპივოტის“ შემთხვევაში, გამოშვება არ გვპირდება თანმიმდევრობას. ვინ დაზარალდება პირველი? ვინც გამოსავალს შედარებს შენახულ ფაილს, რიგ-რიგობით. ეს ტესტი შეიძლება გაიაროს თქვენს ლეპტოპზე და ვერ გაიაროს სხვა მანქანაზე. შემდეგი, მიგრაციის სახელმძღვანელო.

რას გვპირდება მიგრაციის სახელმძღვანელო?

0:57 ნათქვამია, რომ ზემოთ ნაჩვენები რიგების ზუსტი თანმიმდევრობა არ არის გარანტირებული. ასე რომ, თუ თქვენ ენდობით თანმიმდევრობას, დაალაგეთ მკაფიოდ. Out-of-core ნაგულისხმევად ჩართულია. ის იწყებს მონაცემების დისკზე დაღვრას ოპერატიული მეხსიერების დაახლოებით ოთხმოცი პროცენტზე, სამოცდაოთხი გიგაბაიტიანი ბიუჯეტით. დალაგება, ფანჯრის ფუნქციები და მრავალი გამოსახულება ახლა შეიძლება დაიღვაროს. შეერთებები და დაჯგუფებები მალე მოვა.

არის თუ არა ბენჩმარკი სამართლიანი ბრძოლა?

1:17 Polars ამბობს, რომ ის სჯობს DataFusion-ს და DuckDB-ს TPC-H-სა და TPC-DS-ზე ბენჩმარკებზე. რიცხვები მომდინარეობს მათი საკუთარი გაშვებებიდან, მიღებულ მონაცემებზე, და მათ სქოლიოში ნათქვამია, რომ ისინი არ არის შედარებადი ოფიციალურ შედეგებთან. მათი საკუთარი რიცხვები ამბობს, რომ Polars დაახლოებით სამ მთელ რვაჯერ უფრო სწრაფი ხდება თექვსმეტი ბირთვიდან ას ოთხმოცდათორმეტამდე, TPC-H-ზე. ისინი ასევე ამბობენ, რომ დიდი მანქანის დამატებითი თემები ანელებს მცირე მოთხოვნებს.

რას ვხედავთ, როდესაც ვაწარმოებთ მას?

1:41 ჩვენ იგივე შეერთება ორჯერ გავუშვით Polars 2.0.0-ზე. ნაგულისხმევი გაშვება რიგებს ურევს. ფლაგით, შეყვანის თანმიმდევრობა შენარჩუნებულია. იპოვეთ შეერთებები, რომლებიც აწვდიან ტესტს. ნებისმიერი შეერთება მის შემდეგ დალაგების გარეშე არის რიგების თანმიმდევრობის გადაწყვეტილება, რომელიც თქვენ არასოდეს მიგიღიათ. Polars 2.0 უფრო მკაცრია ტიპებთან დაკავშირებით.

ნიშნავს თუ არა სიმკაცრე უფრო ადრეულს?

1:58 სქემის შემოწმება იჭერს დაკარგულ სვეტს რაიმე მონაცემის წაკითხვამდე. მას არ შეუძლია დაიჭიროს cast, რომელიც მარცხდება ერთ რიგზე, რადგან ეს შეცდომა ელოდება მონაცემებს. ახლა მარყუჟი, რომელიც გავხსენი.

როგორ დავაბრუნო ძველი თანმიმდევრობა?

2:08 გადამრთველი შეერთებაზეა. დააყენეთ maintain order შეერთებაზე, ან დაამატეთ დალაგება მის შემდეგ. სახელმძღვანელო გვთავაზობს დალაგებას. შეერთების დროშამ შეინარჩუნა თანმიმდევრობა ჩვენს გაშვებაში, მარცხენა მხარის თანმიმდევრობით, როგორც მარცხენა, მარჯვენა. განაჩენი, "კაპოტის ქვეშ": განხილვას საჭიროებს.

რა არის განაჩენი?

2:22 განვაახლებდი ყველა შეერთებას განახლებამდე. გაქვთ შეკითხვა ამის შესახებ? ჩადეთ კომენტარებში. და ეს არის დღევანდელი განსხვავება. მე ვარ ნიკო Axrisi-დან. შეერწყით პასუხისმგებლობით.

წყაროები

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

მსგავსი ვიდეოები

daily · ka · 7 ოქტ. 2026

ჰონო ზღუდავს გარე მოთხოვნებს, რადგან შემნახველები გადახედავენ კონტრიბუციის მიღებას

ჰონომ გამორთო გარე მოთხოვნების შექმნა, შეინარჩუნა MIT ლიცენზირებული კოდი. სინდრე სორჰუსმა ცალკე მიაწერა საკუთარი საცავის შეზღუდვები AI-ს და თქვა, რომ შენარჩუნება და საკითხების დამუშავება გაგრძელდება.

5:22 ↗
daily · ka · 13 ნოე. 2026

DisplayLink-ის Linux დრაივერის პატენტთან დაკავშირებული დავა: მოთხოვნები და OIN კოდეკის დაფარვა

Synaptics-ის პატენტთან დაკავშირებულმა მოთხოვნებმა შეაფერხა მაიკ ლოტიანის ღია DisplayLink დრაივერის პროტოტიპი. LWN-ის ახალი ანგარიში აღწერს ძველ მიმოწერას, პირობით ფინანსურ მოთხოვნას და OIN კოდეკის დაფ

5:10 ↗
under-the-hood · ka · 17 ოქტ. 2026

Python-ის წარმადობა: მშობლიური NumPy-ის ციკლები, ქოლბექები და კონვერტაციის ხარჯები

კონტროლირებადი CPU-მხოლოდ რიცხვითი ტესტი მიჰყვება იდენტურ მნიშვნელობებს CPython-ის ციკლებში, NumPy-ის არითმეტიკაში, Python-ის ქოლბექის შემხვევში და კომპილირებული Numba-ს ციკლში. მზა-შეყვანის NumPy-ს ჰ

6:00 ↗
daily · ka · 7 ოქტ. 2026

Google-ი JPEG XL-ს Chrome-ში აბრუნებს

Google-მა გამოაცხადა JPEG XL-ის დეკოდირება Chrome 155-დან დაწყებული, მას შემდეგ რაც მისი ადრინდელი ექსპერიმენტი ამოღებულ იქნა. 7 ოქტომბრის ეს გამოცემა იკვლევს დეველოპერების გამოხმაურებას, ახალ Rust დე

5:17 ↗