पोलार्स 2.0: किन जोडहरूले अब तिनीहरूको पङ्क्ति क्रम कायम राख्दैनन्
पोलार्स 2.0 ले स्ट्रिमिङ इन्जिनमा पूर्वनिर्धारित रूपमा सङ्कलन गर्दछ।
पोलार्स 2.0 ले स्ट्रिमिङ इन्जिनमा पूर्वनिर्धारित रूपमा सङ्कलन गर्दछ। जोड, समूह-द्वारा र अनपिवटको लागि, रिलीजले अब इनपुट पङ्क्ति क्रमको ग्यारेन्टी दिँदैन जबसम्म तपाईं स्पष्ट रूपमा maintain_order वा sort सेट गर्नुहुन्न। पोलार्स 2.0.0 मा हाम्रो दौडमा, 2,000,000-पङ्क्तिको भित्री जोडले पूर्वनिर्धारित रूपमा इनपुट क्रम बाहिर पङ्क्तिहरू फर्कायो र maintain_order सेट गर्दा क्रम कायम राख्यो। यस रिलीजले आउट-अफ-कोर स्पिलिङ पनि सक्रिय गर्दछ र बेन्चमार्क दावीहरू विक्रेताको आफ्नै बनाउँदछ।
लिखित संस्करण पढ्नुहोस् (अंग्रेजी) ↗
यो भिडियोले के समेट्छ
- लेजी क्वेरीमा collect() कल गर्दा अब पूर्वनिर्धारित रूपमा स्ट्रिमिङ इन्जिन प्रयोग गर्दछ, जसले जोड, group_by र unpivot को लागि पङ्क्ति क्रमको ग्यारेन्टी दिँदैन।
- माइग्रेसन गाइडले भन्छ कि क्रम अब पूर्व-2.0 क्रम होइन र ग्यारेन्टी छैन; यदि तपाईं यसमा निर्भर हुनुहुन्छ भने यसले स्पष्ट क्रमबद्ध गर्न सिफारिस गर्दछ।
- हाम्रो दौडमा, पूर्वनिर्धारित भित्री जोडले इनपुट अर्डर गलत फर्कायो; maintain_order="left_right" जोडमा सेट गर्दा सही फर्कायो। एउटा मेसिन, एउटा दौड, एउटा जोडको आकार।
- आउट-अफ-कोर स्पिलिङ पूर्वनिर्धारित रूपमा सक्रिय छ: यो RAM को लगभग 80% बाट सुरु हुन्छ, 64 GB पूर्वनिर्धारित डिस्क बजेटको साथ। आउट-अफ-कोर जोड र group_by रोडम्यापमा छन्।
- collect_schema() ले कुनै पनि डेटा पढ्नु अघि छुटेको स्तम्भ समात्छ, तर एउटा मानमा मात्र असफल हुने कास्ट collect() मा मात्र असफल हुन्छ।
- TPC-H र TPC-DS तुलना विक्रेताको आफ्नै व्युत्पन्न डेटामा गरिएको दौड हो, र यसको फुटनोटले परिणामहरू आधिकारिक बेन्चमार्कहरूसँग तुलना गर्न योग्य छैन भनी बताउँछ।
प्रश्न र उत्तर
पोलार्स २.० मा सामेल हुनेले अब पङ्क्तिहरूलाई तिनीहरूको इनपुट क्रममा किन राख्दैन?
लेजी क्वेरीमा कलेक्ट कल गर्दा अब पूर्वनिर्धारित रूपमा स्ट्रिमिङ इन्जिन प्रयोग हुन्छ। स्ट्रिमिङले क्वेरीलाई समानान्तरमा चल्ने खण्डहरूमा विभाजन गर्छ, र खण्डहरू तिनीहरू समाप्त भएपछि समाप्त हुन्छन्। जोइन, ग्रुप_बाई र अनपिभोटका लागि, यसैले विज्ञप्तिले आउटपुट पङ्क्ति क्रमको प्रतिज्ञा गर्दैन। सुरक्षित गरिएको फाइल पङ्क्ति-पङ्क्ति तुलना गर्ने परीक्षणहरू तोड्ने पहिलो सम्भावना हुन्छ।
पोलार्स २.० मा अपग्रेड गरेपछि पुरानो पङ्क्ति क्रम कसरी फिर्ता ल्याउने?
जोइन पछि स्पष्ट क्रमबद्धता थप्नुहोस्, जुन माइग्रेसन गाइडले सिफारिस गर्छ, वा जोइनमा मेन्टेन_अर्डर आर्गुमेन्ट सेट गर्नुहोस्। पोलार्स २.०.० मा एपिसोडको रनमा, पूर्वनिर्धारित इनर जोइनले इनपुट क्रम बाहिरका पङ्क्तिहरू फर्कायो, जबकि मेन्टेन_अर्डरलाई लेफ्ट_राइटमा सेट गर्दा क्रम कायम रह्यो। त्यो एउटा मेसिन, एउटा रन र एउटा जोइन आकार थियो।
के पोलार्स २.० ले मेमोरी भन्दा ठूलो डेटा प्रक्रिया गर्न सक्छ?
आंशिक रूपमा। आउट-अफ-कोर स्पिलिङ पूर्वनिर्धारित रूपमा अन हुन्छ, लगभग ८०% RAM बाट सुरु हुन्छ ६४ GB पूर्वनिर्धारित डिस्क बजेटको साथ। क्रमबद्ध, विन्डो कार्यहरू र धेरै अभिव्यक्तिहरू अब स्पिल गर्न सक्छन्। आउट-अफ-कोर जोइन र ग्रुप-बाई रोडम्यापमा छन्, त्यसैले ती कार्यहरू अझै स्पिल गर्दैनन्।
के म डकडीबी र डाटाफ्युजनसँग पोलार्स २.० बेन्चमार्क तुलनाहरूमा विश्वास गर्न सक्छु?
तिनीहरूलाई विक्रेताको आफ्नै दाबीको रूपमा व्यवहार गर्नुहोस्। पोलार्स भन्छ कि यसले TPC-H र TPC-DS मा डाटाफ्युजन र डकडीबीलाई हराउँछ, तर संख्याहरू यसको आफ्नै रनबाट व्युत्पन्न डाटामा आउँछन्, र यसको फुटनोट भन्छ कि परिणामहरू आधिकारिक बेन्चमार्कहरूसँग तुलना गर्न योग्य छैनन्। पोलार्स भन्छ कि ठूलो मेसिनका अतिरिक्त थ्रेडहरूले साना क्वेरीहरूलाई ढिलो गर्छन्।
के अवस्थित पोलार्स पाइपलाइनहरूलाई संस्करण २.० मा अपग्रेड गर्नु सुरक्षित छ?
द डेली डिफको निर्णय NEEDS REVIEW थियो। एपिसोडले अपग्रेड गर्नु अघि प्रत्येक जोइनको समीक्षा गर्नेछ, किनकि यसपछि क्रमबद्ध नभएको कुनै पनि जोइन पङ्क्ति क्रम निर्णय कहिल्यै गरिएको थिएन। कडा टाइपिङले थोरै मद्दत गर्छ, किनकि स्कीमा जाँचले डेटा पढ्नु अघि छुटेको स्तम्भ समात्छ, तर एउटा पङ्क्तिमा मात्र असफल हुने कास्ट कलेक्टमा मात्र असफल हुन्छ।
अनुवादित ट्रान्सक्रिप्ट
मूल अंग्रेजी कथाबाट अनुवादित। उपलब्ध अडियो र क्याप्सनहरू YouTube द्वारा नियन्त्रित हुन्छन्।
पूर्वनिर्धारित क्रम किन परिवर्तन भयो?
0:00 तपाईंलाई लाग्छ कि जोडले तपाईंको पङ्क्तिहरूलाई तपाईंले लेखेको क्रममा फिर्ता दिन्छ। पोलार्स 2.0 ले पूर्वनिर्धारित रूपमा, जानाजानी त्यो प्रतिज्ञा गर्न छोड्यो। यस भिडियोमा: पूर्वनिर्धारित किन परिवर्तन भयो? यसले के प्राप्त गर्यो? र तपाईंको कुन स्क्रिप्ट पहिले बिग्रन्छ? यो The Daily Diff हो, भित्रबाट। पोलार्स एउटा खुला स्रोत डाटाफ्रेम लाइब्रेरी हो: एउटा तालिका इन्जिन जसलाई तपाईं पाइथनबाट कल गर्नुहुन्छ,
0:20 यसको कोर रस्टमा लेखिएको छ। यो MIT लाइसेन्स अन्तर्गत निःशुल्क छ, र तपाईंले यसलाई pip install polars मार्फत स्थापना गर्नुहुन्छ। पहिले एउटा विवरण। पुरानो क्रम फिर्ता ल्याउने स्विच जोड आफैमा एउटा तर्क हो। म यसमा अन्त्यमा फर्कनेछु। 2.0 देखि, collect ले पूर्वनिर्धारित रूपमा स्ट्रिमिङ इन्जिन चलाउँछ। स्ट्रिमिङले क्वेरीलाई समानान्तरमा चल्ने खण्डहरूमा विभाजन गर्दछ, र खण्डहरू समाप्त भएपछि समाप्त हुन्छन्।
0:42 जोड, समूह-द्वारा र अनपिवटको लागि, रिलीजले क्रमको वाचा गर्दैन। कसलाई पहिले चोट पुग्छ? जोसुकैले आउटपुटलाई सुरक्षित गरिएको फाइलसँग, पङ्क्ति अनुसार तुलना गर्छ। त्यो परीक्षण तपाईंको ल्यापटपमा पास हुन सक्छ र फरक मेसिनमा असफल हुन सक्छ। अर्को, माइग्रेसन गाइड।
माइग्रेसन गाइडले के वाचा गर्दछ?
0:57 यसले भन्छ कि माथि देखाइएको सही पङ्क्ति क्रम ग्यारेन्टी छैन। त्यसैले यदि तपाईं क्रममा निर्भर हुनुहुन्छ भने, स्पष्ट रूपमा क्रमबद्ध गर्नुहोस्। आउट-अफ-कोर पनि पूर्वनिर्धारित रूपमा सक्रिय छ। यो RAM को लगभग असी प्रतिशतमा डिस्कमा स्पिल गर्न सुरु गर्छ, चौसठ्ठी गिगाबाइट बजेटको साथ। Sort, window functions र धेरै अभिव्यक्तिहरूले अब स्पिल गर्न सक्छन्। Joins र group-bys आउँदैछन्।
के बेन्चमार्क निष्पक्ष लडाई हो?
1:17 पोलार्स भन्छ कि यसले TPC-H र TPC-DS बेन्चमार्कहरूमा DataFusion र DuckDB लाई हराउँछ। नम्बरहरू तिनीहरूको आफ्नै दौडबाट आएका हुन्, व्युत्पन्न डेटामा, र तिनीहरूको फुटनोटले तिनीहरू आधिकारिक परिणामहरूसँग तुलना गर्न योग्य छैन भनी बताउँछ। तिनीहरूको आफ्नै नम्बरहरू भन्छन् कि पोलार्स TPC-H मा सोह्र कोरबाट एक सय बयानब्बेमा करिब तीन दशमलव आठ गुणा छिटो हुन्छ। तिनीहरू यो पनि भन्छन् कि ठूलो मेसिनका अतिरिक्त थ्रेडहरूले साना क्वेरीहरूलाई ढिलो गर्छन्। हामीले पोलार्स 2.0.0 मा उही जोड दुई पटक चलायौं।
हामीले यसलाई चलाउँदा के देख्छौं?
1:41 पूर्वनिर्धारित रनले पङ्क्तिहरूलाई शफल गर्छ। झण्डाको साथ, इनपुट क्रम जीवित रहन्छ। एउटा परीक्षणलाई फिड गर्ने जोडहरू फेला पार्नुहोस्। त्यसपछि क्रमबद्ध नभएको कुनै पनि जोड तपाईंले कहिल्यै नगरेको पङ्क्ति क्रम निर्णय हो। पोलार्स 2.0 प्रकारहरूको बारेमा कडा छ। स्कीमा जाँचले कुनै पनि डेटा पढ्नु अघि छुटेको स्तम्भ समात्छ।
के कडा हुनुको अर्थ चाँडो हो?
1:58 यसले एउटा पङ्क्तिमा असफल हुने कास्टलाई समात्न सक्दैन, किनभने त्यो त्रुटि डेटाको लागि पर्खन्छ। अब मैले खोलेको लूप। स्विच जोडमा बस्छ। जोडमा maintain order सेट गर्नुहोस्, वा त्यसपछि क्रमबद्ध थप्नुहोस्।
मैले पुरानो क्रम कसरी फिर्ता पाउँछु?
2:08 गाइडले क्रमबद्ध गर्न सुझाव दिन्छ। जोड झण्डाले हाम्रो दौडमा क्रम कायम राख्यो, बायाँ पक्षको क्रम बायाँ, दायाँको रूपमा राखिएको थियो। फैसला, भित्रबाट: NEEDS REVIEW। मैले अपग्रेड गर्नु अघि प्रत्येक जोडको समीक्षा गर्नेछु। यस बारेमा प्रश्न छ? यसलाई टिप्पणीमा राख्नुहोस्।
फैसला के हो?
2:22 र त्यो आजको लागि फरक छ। म Axrisi बाट Niko हुँ। जिम्मेवारीपूर्वक मर्ज गर्नुहोस्। यस बारेमा प्रश्न छ? यसलाई टिप्पणीमा राख्नुहोस्। र त्यो आजको लागि फरक छ।
स्रोतहरू
- Release of Polars 2.0Polars (pola.rs)
- Polars 2.0 upgrade guidePolars documentation
- Polars homepagePolars (pola.rs)
- polars-2.0-benchmark repositoryPolars on GitHub
- Release of Polars 2.0 (Hacker News discussion)Hacker News



