+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

போலார்ஸ் 2.0: ஏன் இணைப்புகள் இனி வரிசை வரிசையை வைத்திருக்கவில்லை

Polars 2.0 ஒரு ஸ்ட்ரீமிங் என்ஜினில் இயல்புநிலையாக சேகரிக்கப்படுகிறது.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 ஒரு ஸ்ட்ரீமிங் என்ஜினில் இயல்புநிலையாக சேகரிக்கப்படுகிறது. சேர, குழு_படி மற்றும் அன்பிவோட்டிற்கு, maintain_order அல்லது வரிசையை வெளிப்படையாக அமைக்காதவரை, வெளியீடு உள்ளீட்டு வரிசை வரிசைக்கு உத்தரவாதம் அளிக்காது. எங்கள் போலார்ஸ் 2.0.0 இல், 2,000,000-வரிசை உள் இணைப்பில் இயல்புநிலையாக வரிசைகள் உள்ளீட்டு வரிசையிலிருந்து வெளியேறின, மேலும் maintain_order அமைக்கப்பட்டு வரிசையை வைத்திருந்தது. இந்த வெளியீடு அவுட்-ஆஃப்-கோர் ஸ்பில்லிங்கையும் செயல்படுத்துகிறது மற்றும் பெஞ்ச்மார்க் உரிமைகோரல்களை விற்பனையாளரின் சொந்தமாக்குகிறது.

எழுத்துப்பூர்வ பதிப்பைப் படிக்கவும் (ஆங்கிலம்) ↗

இந்த வீடியோ எதைப் பற்றி விவாதிக்கிறது

  • ஒரு சோம்பேறி வினவலில் collect() ஐ அழைப்பது இப்போது இயல்புநிலையாக ஸ்ட்ரீமிங் எஞ்சினைப் பயன்படுத்துகிறது, இது சேர, குழு_படி மற்றும் அன்பிவோட்டிற்கான வரிசை வரிசைக்கு உத்தரவாதம் அளிக்காது.
  • குடியேற்ற வழிகாட்டி வரிசை இனி 2.0 க்கு முந்தைய வரிசை அல்ல என்றும் உத்தரவாதம் இல்லை என்றும் கூறுகிறது; நீங்கள் அதை நம்பினால் வெளிப்படையான வரிசையை பரிந்துரைக்கிறது.
  • எங்கள் ஓட்டத்தில், ஒரு இயல்புநிலை உள் இணைப்பு உள்ளீட்டு வரிசையைத் தவறாகத் திருப்பித் தந்தது; இணைப்பில் maintain_order="left_right" True ஐத் திருப்பித் தந்தது. ஒரு இயந்திரம், ஒரு ஓட்டம், ஒரு இணை வடிவமைப்பு.
  • அவுட்-ஆஃப்-கோர் ஸ்பில்லிங் இயல்புநிலையாக இயக்கத்தில் உள்ளது: இது RAM இல் சுமார் 80% இல் தொடங்குகிறது, 64 GB இயல்புநிலை வட்டு பட்ஜெட்டுடன். அவுட்-ஆஃப்-கோர் சேர மற்றும் குழு_படி ஆகியவை சாலை வரைபடத்தில் உள்ளன.
  • collect_schema() எந்த தரவும் படிக்கப்படுவதற்கு முன்பு ஒரு காணாமல் போன நெடுவரிசையைப் பிடிக்கும், ஆனால் ஒரு மதிப்பில் தோல்வியடையும் ஒரு மாற்றம் collect() இல் மட்டுமே தோல்வியடைகிறது.
  • TPC-H மற்றும் TPC-DS ஒப்பீடு என்பது விற்பனையாளரின் சொந்த ஓட்டத்தின் வழித்தோன்றல் தரவுகளில், மேலும் அதன் அடிக்குறிப்பு முடிவுகள் அதிகாரப்பூர்வ பெஞ்ச்மார்க்குகளுடன் ஒப்பிட முடியாது என்று கூறுகிறது.

கேள்விகள் மற்றும் பதில்கள்

ஏன் Polars 2.0 இணைப்புகள் உள்ளீட்டு வரிசையில் உள்ள வரிசைகளைத் தக்கவைப்பதில்லை?

ஒரு சோம்பேறி வினவலில் சேகரிப்பை அழைப்பது இப்போது இயல்புநிலையாக ஸ்ட்ரீமிங் இன்ஜினைப் பயன்படுத்துகிறது. ஸ்ட்ரீமிங் வினவலை இணையாக இயங்கும் துண்டுகளாகப் பிரிக்கிறது, மேலும் துண்டுகள் அவை முடிந்ததும் முடிவடைகின்றன. எனவே இணைத்தல், group_by மற்றும் unpivot ஆகியவற்றிற்கான வெளியீடு ஒரு வெளியீட்டு வரிசை வரிசையை உறுதியளிக்காது. வெளியீட்டை சேமிக்கப்பட்ட கோப்புடன் வரிசை வாரியாக ஒப்பிடும் சோதனைகள் முதலில் உடைந்து போக வாய்ப்புள்ளது.

இந்த பகுதியை கவனியுங்கள் 0:00 · Polars (pola.rs) · Polars documentation

Polars 2.0 க்கு மேம்படுத்திய பிறகு பழைய வரிசை வரிசையை நான் எப்படி மீட்டெடுப்பது?

இணைப்பிற்குப் பிறகு ஒரு வெளிப்படையான வரிசையைச் சேர்க்கவும், இது இடம்பெயர்வு வழிகாட்டி பரிந்துரைக்கிறது, அல்லது இணைப்பில் maintain_order வாதத்தை அமைக்கவும். Polars 2.0.0 இல் அத்தியாயத்தின் இயக்கத்தில், ஒரு இயல்புநிலை உள் இணைப்பு உள்ளீட்டு வரிசையிலிருந்து வரிசைகளைத் திரும்பப் பெற்றது, அதே நேரத்தில் maintain_order ஐ left_right க்கு அமைப்பது வரிசையைப் பராமரித்தது. அது ஒரு இயந்திரம், ஒரு இயக்கம் மற்றும் ஒரு இணைப்பு வடிவம்.

இந்த பகுதியை கவனியுங்கள் 2:07 · Polars documentation

Polars 2.0 நினைவகத்தை விட பெரிய தரவை செயலாக்க முடியுமா?

ஓரளவு. அவுட்-ஆஃப்-கோர் கசிவு இயல்புநிலையாக உள்ளது, 64 GB இயல்புநிலை வட்டு பட்ஜெட்டுடன் சுமார் 80% RAM இல் தொடங்குகிறது. வரிசைப்படுத்துதல், சாளர செயல்பாடுகள் மற்றும் பல வெளிப்பாடுகள் இப்போது கசியக்கூடும். அவுட்-ஆஃப்-கோர் இணைப்புகள் மற்றும் group-bys சாலை வரைபடத்தில் உள்ளன, எனவே அந்த செயல்பாடுகள் இன்னும் கசியவில்லை.

இந்த பகுதியை கவனியுங்கள் 0:56 · Polars (pola.rs) · Polars documentation

DuckDB மற்றும் DataFusion உடன் Polars 2.0 பெஞ்ச்மார்க் ஒப்பீடுகளை நான் நம்பலாமா?

அவற்றை விற்பனையாளரின் சொந்தக் கோரிக்கைகளாகக் கருதுங்கள். TPC-H மற்றும் TPC-DS இல் DataFusion மற்றும் DuckDB ஐ Polars வென்றதாகக் கூறுகிறது, ஆனால் எண்கள் அதன் சொந்த இயக்கங்களிலிருந்து பெறப்பட்ட தரவுகளில் இருந்து வருகின்றன, மேலும் அதன் அடிக்குறிப்பு முடிவுகள் அதிகாரப்பூர்வ பெஞ்ச்மார்க்குகளுடன் ஒப்பிட முடியாது என்று கூறுகிறது. பெரிய இயந்திரத்தின் கூடுதல் நூல்கள் சிறிய வினவல்களை மெதுவாக்குகின்றன என்றும் Polars கூறுகிறது.

இந்த பகுதியை கவனியுங்கள் 1:17 · Polars (pola.rs) · Polars on GitHub

ஏற்கனவே உள்ள Polars பைப்லைன்களை பதிப்பு 2.0 க்கு மேம்படுத்துவது பாதுகாப்பானதா?

The Daily Diff இன் தீர்ப்பு NEEDS REVIEW. மேம்படுத்துவதற்கு முன் ஒவ்வொரு இணைப்பையும் அத்தியாயம் மதிப்பாய்வு செய்யும், ஏனெனில் அதற்குப் பிறகு வரிசைப்படுத்தல் இல்லாத எந்த இணைப்பும் ஒருபோதும் எடுக்கப்படாத ஒரு வரிசை வரிசை முடிவு. கடுமையான தட்டச்சு கொஞ்சம் உதவுகிறது, ஏனெனில் தரவு படிக்கப்படுவதற்கு முன்பு ஒரு காணாமல் போன நெடுவரிசையை ஸ்கீமா சரிபார்ப்பு கண்டறிகிறது, ஆனால் ஒரு வரிசையில் தோல்வியுறும் ஒரு காஸ்ட் சேகரிக்கும் போது மட்டுமே தோல்வியுறும்.

இந்த பகுதியை கவனியுங்கள் 2:20 · Polars documentation · Polars (pola.rs)

மொழிபெயர்க்கப்பட்ட டிரான்ஸ்கிரிப்ட்

அசல் ஆங்கில விளக்கத்திலிருந்து மொழிபெயர்க்கப்பட்டது. கிடைக்கும் ஆடியோ மற்றும் தலைப்புகள் YouTube ஆல் கட்டுப்படுத்தப்படுகின்றன.

இயல்புநிலை வரிசை ஏன் மாறியது?

0:00 நீங்கள் ஒரு இணைப்பை நீங்கள் எழுதிய வரிசையில் உங்கள் வரிசைகளைத் திருப்பித் தருவதாக நினைக்கிறீர்கள். Polars 2.0 இயல்புநிலையாக, வேண்டுமென்றே அதை உறுதியளிப்பதை நிறுத்திவிட்டது. இந்த வீடியோவில்: இயல்புநிலை ஏன் மாறியது? அதனால் என்ன கிடைத்தது? உங்கள் ஸ்கிரிப்டுகளில் எது முதலில் உடைகிறது? இது உள்ளே இருந்து The Daily Diff. Polars ஒரு ஓப்பன் சோர்ஸ் டேட்டாஃபிரேம் நூலகம்: நீங்கள் பைத்தானிலிருந்து அழைக்கும் ஒரு டேபிள் எஞ்சின்,

0:20 அதன் மையப் பகுதி ரஸ்டில் எழுதப்பட்டுள்ளது. இது MIT உரிமத்தின் கீழ் இலவசம், மற்றும் நீங்கள் அதை pip install polars மூலம் நிறுவலாம். முதலில் ஒரு விவரம். பழைய வரிசையைத் திரும்பக் கொண்டுவரும் சுவிட்ச் இணைப்பிற்கான ஒரு வாதமாகும். நான் அதை கடைசியில் மீண்டும் வருவேன். 2.0 முதல், collect இயல்புநிலையாக ஸ்ட்ரீமிங் எஞ்சினை இயக்குகிறது. ஸ்ட்ரீமிங் வினவலை இணையாக இயங்கும் துண்டுகளாகப் பிரிக்கிறது, மற்றும் துண்டுகள் அவை முடிந்தவுடன் முடிவடைகின்றன.

0:42 சேர, குழுவாக்க மற்றும் அன்பிவோட்டிற்கு, வெளியீடு ஒரு வரிசையை உறுதியளிக்கவில்லை. யார் முதலில் பாதிக்கப்படுவார்கள்? சேமிக்கப்பட்ட கோப்புடன், வரிசைக்கு வரிசை, வெளியீட்டை ஒப்பிடுபவர்கள். அந்த சோதனை உங்கள் மடிக்கணினியில் வெற்றிபெறலாம் மற்றும் வேறு இயந்திரத்தில் தோல்வியடையலாம். அடுத்து, குடியேற்ற வழிகாட்டி.

குடியேற்ற வழிகாட்டி என்ன உறுதியளிக்கிறது?

0:57 மேலே காட்டப்பட்டுள்ள துல்லியமான வரிசை வரிசைக்கு உத்தரவாதம் இல்லை என்று அது கூறுகிறது. எனவே நீங்கள் வரிசையை நம்பினால், வெளிப்படையாக வரிசைப்படுத்தவும். அவுட்-ஆஃப்-கோர் இயல்புநிலையாகவும் இயக்கத்தில் உள்ளது. இது RAM இல் சுமார் எண்பது சதவீதத்தில் வட்டுக்கு சிந்தத் தொடங்குகிறது, அறுபத்தி நான்கு கிகாபைட் பட்ஜெட்டுடன். வரிசைப்படுத்துதல், சாளர செயல்பாடுகள் மற்றும் பல வெளிப்பாடுகள் இப்போது சிந்தலாம். சேரல்கள் மற்றும் குழு-பைகள் வரவிருக்கின்றன.

பெஞ்ச்மார்க் ஒரு நியாயமான சண்டையா?

1:17 Polars TPC-H மற்றும் TPC-DS இல் DataFusion மற்றும் DuckDB ஐ வெல்கிறது என்று கூறுகிறது பெஞ்ச்மார்க்குகள். எண்கள் அவற்றின் சொந்த ஓட்டங்களிலிருந்து, வழித்தோன்றல் தரவுகளில் இருந்து வருகின்றன, மற்றும் அவற்றின் அடிக்குறிப்பு அவை அதிகாரப்பூர்வ முடிவுகளுடன் ஒப்பிட முடியாது என்று கூறுகிறது. அவற்றின் சொந்த எண்கள் Polars பதினாறு கோர்களிலிருந்து நூற்று தொண்ணூற்று இரண்டு வரை TPC-H இல் சுமார் மூன்று புள்ளி எட்டு மடங்கு வேகமாகிறது என்று கூறுகின்றன. பெரிய இயந்திரத்தின் கூடுதல் நூல்கள் சிறிய வினவல்களை மெதுவாக்குகின்றன என்றும் அவை கூறுகின்றன.

நாம் அதை இயக்கும்போது என்ன பார்க்கிறோம்?

1:41 நாங்கள் Polars 2.0.0 இல் அதே இணைப்பை இருமுறை இயக்கினோம். இயல்புநிலை ஓட்டம் வரிசைகளை கலக்கிறது. கொடியுடன், உள்ளீட்டு வரிசை உயிர்வாழ்கிறது. ஒரு சோதனைக்கு உணவளிக்கும் இணைப்புகளைக் கண்டறியவும். அதன் பிறகு வரிசைப்படுத்தல் இல்லாத எந்த இணைப்பும் நீங்கள் செய்யாத ஒரு வரிசை வரிசை முடிவாகும். Polars 2.0 வகைகள் குறித்து கண்டிப்பானது.

கண்டிப்பானது என்றால் முன்னதா?

1:58 எந்த தரவும் படிக்கப்படுவதற்கு முன்பு ஸ்கீமா சரிபார்ப்பு ஒரு காணாமல் போன நெடுவரிசையைப் பிடிக்கும். இது ஒரு வரிசையில் தோல்வியடையும் ஒரு மாற்றத்தைப் பிடிக்க முடியாது, ஏனெனில் அந்த பிழை தரவுக்காக காத்திருக்கிறது. இப்போது நான் திறந்த சுழற்சி.

பழைய வரிசையை நான் எப்படி திரும்பப் பெறுவது?

2:08 சுவிட்ச் இணைப்பில் வாழ்கிறது. இணைப்பில் maintain order ஐ அமைக்கவும், அல்லது அதன் பிறகு ஒரு வரிசையைச் சேர்க்கவும். வழிகாட்டி வரிசையை பரிந்துரைக்கிறது. இணைப்புக் கொடி எங்கள் ஓட்டத்தில் வரிசையை வைத்திருந்தது, இடது பக்கத்தின் வரிசை இடது, வலதுபுறமாக வைக்கப்பட்டது. தீர்ப்பு, உள்ளே இருந்து: NEEDS REVIEW.

தீர்ப்பு என்ன?

2:22 மேம்படுத்துவதற்கு முன்பு ஒவ்வொரு இணைப்பையும் மதிப்பாய்வு செய்வேன். இதற்கு ஏதேனும் கேள்வி உள்ளதா? அதை கருத்துகளில் இடுங்கள். இன்றைய வேறுபாடு இதுதான். நான் Axrisi இலிருந்து Niko. பொறுப்புடன் ஒன்றிணைக்கவும்.

ஆதாரங்கள்

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

தொடர்புடைய வீடியோக்கள்

daily · ta · 7 அக்., 2026

பராமரிப்பாளர்கள் பங்களிப்பு உட்கொள்ளலை மறுபரிசீலனை செய்வதால் ஹோனோ வெளிப் புல் கோரிக்கைகளை கட்டுப்படுத்துகிறது

Hono அதன் MIT-உரிமம் பெற்ற குறியீட்டைத் தக்கவைத்துக்கொண்டு வெளிப்புற புல் கோரிக்கை உருவாக்கலை முடக்கியது. சின்ட்ரே சோர்ஹஸ் தனது சொந்த களஞ்சியக் கட்டுப்பாடுகளுக்கு AI-ஐக் காரணம் காட்டினார், மேலும் பராம

5:22 ↗
daily · ta · 13 நவ., 2026

டிஸ்ப்ளேலிங்க் லினக்ஸ் டிரைவர் காப்புரிமை தகராறு: கோரிக்கைகள் மற்றும் OIN கோடெக் பாதுகாப்பு

சினேப்டிக்ஸின் காப்புரிமை கோரிக்கைகள் மைக் லோதியனின் திறந்த டிஸ்ப்ளேலிங்க் டிரைவர் முன்மாதிரியை நிறுத்திவிட்டன. எல்.டபிள்யூ.என் இன் புதிய அறிக்கை பழைய கடிதப் பரிமாற்றங்கள், நிபந்தனைக்குட்பட்ட பணக் கோர

5:10 ↗
under-the-hood · ta · 17 அக்., 2026

பைதான் செயல்திறன்: நேட்டிவ் NumPy சுழல்கள், கால்பேக்குகள் மற்றும் மாற்றுச் செலவுகள்

ஒரு கட்டுப்படுத்தப்பட்ட CPU-மட்டுமே கொண்ட எண் சோதனை, CPython சுழல்கள், NumPy எண்கணிதம், ஒரு பைதான் கால்பேக் ரேப்பர் மற்றும் தொகுக்கப்பட்ட Numba சுழல் வழியாக ஒத்த மதிப்புகளைப் பின்தொடர்கிறது. தயாரான உள

6:00 ↗
daily · ta · 7 அக்., 2026

Google, JPEG XL ஐ மீண்டும் Chrome க்கு கொண்டு வருகிறது

Google, தனது முந்தைய சோதனை அகற்றப்பட்ட பிறகு, Chrome 155 இலிருந்து JPEG XL டிகோடிங்கை அறிவித்தது. இந்த அக்டோபர் 7 ஆம் தேதி பதிப்பு, டெவலப்பர் பின்னூட்டம், புதிய ரஸ்ட் டிகோடர், போட்டியிடும் சுருக்க கோர

5:17 ↗