போலார்ஸ் 2.0: ஏன் இணைப்புகள் இனி வரிசை வரிசையை வைத்திருக்கவில்லை

இந்த வீடியோ எதைப் பற்றி விவாதிக்கிறது

• ஒரு சோம்பேறி வினவலில் collect() ஐ அழைப்பது இப்போது இயல்புநிலையாக ஸ்ட்ரீமிங் எஞ்சினைப் பயன்படுத்துகிறது, இது சேர, குழு_படி மற்றும் அன்பிவோட்டிற்கான வரிசை வரிசைக்கு உத்தரவாதம் அளிக்காது.
• குடியேற்ற வழிகாட்டி வரிசை இனி 2.0 க்கு முந்தைய வரிசை அல்ல என்றும் உத்தரவாதம் இல்லை என்றும் கூறுகிறது; நீங்கள் அதை நம்பினால் வெளிப்படையான வரிசையை பரிந்துரைக்கிறது.
• எங்கள் ஓட்டத்தில், ஒரு இயல்புநிலை உள் இணைப்பு உள்ளீட்டு வரிசையைத் தவறாகத் திருப்பித் தந்தது; இணைப்பில் maintain_order="left_right" True ஐத் திருப்பித் தந்தது. ஒரு இயந்திரம், ஒரு ஓட்டம், ஒரு இணை வடிவமைப்பு.
• அவுட்-ஆஃப்-கோர் ஸ்பில்லிங் இயல்புநிலையாக இயக்கத்தில் உள்ளது: இது RAM இல் சுமார் 80% இல் தொடங்குகிறது, 64 GB இயல்புநிலை வட்டு பட்ஜெட்டுடன். அவுட்-ஆஃப்-கோர் சேர மற்றும் குழு_படி ஆகியவை சாலை வரைபடத்தில் உள்ளன.
• collect_schema() எந்த தரவும் படிக்கப்படுவதற்கு முன்பு ஒரு காணாமல் போன நெடுவரிசையைப் பிடிக்கும், ஆனால் ஒரு மதிப்பில் தோல்வியடையும் ஒரு மாற்றம் collect() இல் மட்டுமே தோல்வியடைகிறது.
• TPC-H மற்றும் TPC-DS ஒப்பீடு என்பது விற்பனையாளரின் சொந்த ஓட்டத்தின் வழித்தோன்றல் தரவுகளில், மேலும் அதன் அடிக்குறிப்பு முடிவுகள் அதிகாரப்பூர்வ பெஞ்ச்மார்க்குகளுடன் ஒப்பிட முடியாது என்று கூறுகிறது.

மொழிபெயர்க்கப்பட்ட டிரான்ஸ்கிரிப்ட்

அசல் ஆங்கில விளக்கத்திலிருந்து மொழிபெயர்க்கப்பட்டது. கிடைக்கும் ஆடியோ மற்றும் தலைப்புகள் YouTube ஆல் கட்டுப்படுத்தப்படுகின்றன.

இயல்புநிலை வரிசை ஏன் மாறியது?

0:00 நீங்கள் ஒரு இணைப்பை நீங்கள் எழுதிய வரிசையில் உங்கள் வரிசைகளைத் திருப்பித் தருவதாக நினைக்கிறீர்கள். Polars 2.0 இயல்புநிலையாக, வேண்டுமென்றே அதை உறுதியளிப்பதை நிறுத்திவிட்டது. இந்த வீடியோவில்: இயல்புநிலை ஏன் மாறியது? அதனால் என்ன கிடைத்தது? உங்கள் ஸ்கிரிப்டுகளில் எது முதலில் உடைகிறது? இது உள்ளே இருந்து The Daily Diff. Polars ஒரு ஓப்பன் சோர்ஸ் டேட்டாஃபிரேம் நூலகம்: நீங்கள் பைத்தானிலிருந்து அழைக்கும் ஒரு டேபிள் எஞ்சின்,

0:20 அதன் மையப் பகுதி ரஸ்டில் எழுதப்பட்டுள்ளது. இது MIT உரிமத்தின் கீழ் இலவசம், மற்றும் நீங்கள் அதை pip install polars மூலம் நிறுவலாம். முதலில் ஒரு விவரம். பழைய வரிசையைத் திரும்பக் கொண்டுவரும் சுவிட்ச் இணைப்பிற்கான ஒரு வாதமாகும். நான் அதை கடைசியில் மீண்டும் வருவேன். 2.0 முதல், collect இயல்புநிலையாக ஸ்ட்ரீமிங் எஞ்சினை இயக்குகிறது. ஸ்ட்ரீமிங் வினவலை இணையாக இயங்கும் துண்டுகளாகப் பிரிக்கிறது, மற்றும் துண்டுகள் அவை முடிந்தவுடன் முடிவடைகின்றன.

0:42 சேர, குழுவாக்க மற்றும் அன்பிவோட்டிற்கு, வெளியீடு ஒரு வரிசையை உறுதியளிக்கவில்லை. யார் முதலில் பாதிக்கப்படுவார்கள்? சேமிக்கப்பட்ட கோப்புடன், வரிசைக்கு வரிசை, வெளியீட்டை ஒப்பிடுபவர்கள். அந்த சோதனை உங்கள் மடிக்கணினியில் வெற்றிபெறலாம் மற்றும் வேறு இயந்திரத்தில் தோல்வியடையலாம். அடுத்து, குடியேற்ற வழிகாட்டி.

குடியேற்ற வழிகாட்டி என்ன உறுதியளிக்கிறது?

0:57 மேலே காட்டப்பட்டுள்ள துல்லியமான வரிசை வரிசைக்கு உத்தரவாதம் இல்லை என்று அது கூறுகிறது. எனவே நீங்கள் வரிசையை நம்பினால், வெளிப்படையாக வரிசைப்படுத்தவும். அவுட்-ஆஃப்-கோர் இயல்புநிலையாகவும் இயக்கத்தில் உள்ளது. இது RAM இல் சுமார் எண்பது சதவீதத்தில் வட்டுக்கு சிந்தத் தொடங்குகிறது, அறுபத்தி நான்கு கிகாபைட் பட்ஜெட்டுடன். வரிசைப்படுத்துதல், சாளர செயல்பாடுகள் மற்றும் பல வெளிப்பாடுகள் இப்போது சிந்தலாம். சேரல்கள் மற்றும் குழு-பைகள் வரவிருக்கின்றன.

பெஞ்ச்மார்க் ஒரு நியாயமான சண்டையா?

1:17 Polars TPC-H மற்றும் TPC-DS இல் DataFusion மற்றும் DuckDB ஐ வெல்கிறது என்று கூறுகிறது பெஞ்ச்மார்க்குகள். எண்கள் அவற்றின் சொந்த ஓட்டங்களிலிருந்து, வழித்தோன்றல் தரவுகளில் இருந்து வருகின்றன, மற்றும் அவற்றின் அடிக்குறிப்பு அவை அதிகாரப்பூர்வ முடிவுகளுடன் ஒப்பிட முடியாது என்று கூறுகிறது. அவற்றின் சொந்த எண்கள் Polars பதினாறு கோர்களிலிருந்து நூற்று தொண்ணூற்று இரண்டு வரை TPC-H இல் சுமார் மூன்று புள்ளி எட்டு மடங்கு வேகமாகிறது என்று கூறுகின்றன. பெரிய இயந்திரத்தின் கூடுதல் நூல்கள் சிறிய வினவல்களை மெதுவாக்குகின்றன என்றும் அவை கூறுகின்றன.

நாம் அதை இயக்கும்போது என்ன பார்க்கிறோம்?

1:41 நாங்கள் Polars 2.0.0 இல் அதே இணைப்பை இருமுறை இயக்கினோம். இயல்புநிலை ஓட்டம் வரிசைகளை கலக்கிறது. கொடியுடன், உள்ளீட்டு வரிசை உயிர்வாழ்கிறது. ஒரு சோதனைக்கு உணவளிக்கும் இணைப்புகளைக் கண்டறியவும். அதன் பிறகு வரிசைப்படுத்தல் இல்லாத எந்த இணைப்பும் நீங்கள் செய்யாத ஒரு வரிசை வரிசை முடிவாகும். Polars 2.0 வகைகள் குறித்து கண்டிப்பானது.

கண்டிப்பானது என்றால் முன்னதா?

1:58 எந்த தரவும் படிக்கப்படுவதற்கு முன்பு ஸ்கீமா சரிபார்ப்பு ஒரு காணாமல் போன நெடுவரிசையைப் பிடிக்கும். இது ஒரு வரிசையில் தோல்வியடையும் ஒரு மாற்றத்தைப் பிடிக்க முடியாது, ஏனெனில் அந்த பிழை தரவுக்காக காத்திருக்கிறது. இப்போது நான் திறந்த சுழற்சி.

பழைய வரிசையை நான் எப்படி திரும்பப் பெறுவது?

2:08 சுவிட்ச் இணைப்பில் வாழ்கிறது. இணைப்பில் maintain order ஐ அமைக்கவும், அல்லது அதன் பிறகு ஒரு வரிசையைச் சேர்க்கவும். வழிகாட்டி வரிசையை பரிந்துரைக்கிறது. இணைப்புக் கொடி எங்கள் ஓட்டத்தில் வரிசையை வைத்திருந்தது, இடது பக்கத்தின் வரிசை இடது, வலதுபுறமாக வைக்கப்பட்டது. தீர்ப்பு, உள்ளே இருந்து: NEEDS REVIEW.

தீர்ப்பு என்ன?

2:22 மேம்படுத்துவதற்கு முன்பு ஒவ்வொரு இணைப்பையும் மதிப்பாய்வு செய்வேன். இதற்கு ஏதேனும் கேள்வி உள்ளதா? அதை கருத்துகளில் இடுங்கள். இன்றைய வேறுபாடு இதுதான். நான் Axrisi இலிருந்து Niko. பொறுப்புடன் ஒன்றிணைக்கவும்.

ஆதாரங்கள்

1. Release of Polars 2.0Polars (pola.rs)
2. Polars 2.0 upgrade guidePolars documentation
3. Polars homepagePolars (pola.rs)
4. polars-2.0-benchmark repositoryPolars on GitHub
5. Release of Polars 2.0 (Hacker News discussion)Hacker News