+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: неліктен біріктірулер енді жол ретін сақтамайды

Polars 2.0 әдепкі бойынша ағынды қозғалтқышта жинақты іске қосады.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 әдепкі бойынша ағынды қозғалтқышта жинақты іске қосады. Біріктіру, group_by және unpivot үшін шығарылым енді maintain_order параметрін орнатпасаңыз немесе нақты сұрыптамасаңыз, енгізу жолының ретіне кепілдік бермейді. Polars 2.0.0 нұсқасында 2 000 000 жолды ішкі біріктіру әдепкі бойынша енгізу ретінен тыс жолдарды қайтарды және maintain_order параметрі орнатылған кезде ретті сақтады. Шығарылым сонымен қатар ядродан тыс төгілуді қосады және салыстырмалы тест талаптарын сатушының өзінікі етеді.

Жазбаша басылымды оқыңыз (ағылшынша) ↗

Бұл бейне не туралы

  • Ленивый сұраныс бойынша collect() шақыруы енді әдепкі бойынша ағынды қозғалтқышты пайдаланады, ол біріктіру, group_by және unpivot үшін жол ретіне кепілдік бермейді.
  • Миграция нұсқаулығында реттің 2.0-ге дейінгі рет емес және кепілдік берілмейтіні айтылған; егер оған сенсеңіз, нақты сұрыптауды ұсынады.
  • Біздің іске қосуымызда, әдепкі ішкі біріктіру енгізу реті False мәнін қайтарды; біріктіруде maintain_order="left_right" орнату True мәнін қайтарды. Бір машина, бір іске қосу, бір біріктіру пішіні.
  • Ядродан тыс төгілу әдепкі бойынша қосулы: ол ЖЖҚ шамамен 80%-ында басталады, әдепкі 64 ГБ дискілік бюджетпен. Ядродан тыс біріктіру және group_by жол картасында.
  • collect_schema() кез келген деректерді оқымай тұрып жоқ бағанды табады, бірақ бір мәнде сәтсіз аяқталған түрлендіру тек collect() кезінде сәтсіз аяқталады.
  • TPC-H және TPC-DS салыстыруы сатушының туынды деректер бойынша өз іске қосуы болып табылады, және оның ескертпесінде нәтижелер ресми салыстырмалы тесттермен салыстыруға болмайтыны айтылған.

Сұрақтар мен жауаптар

Неліктен Polars 2.0 қосылулары енді қатарларды енгізу ретімен сақтамайды?

Жалқау сұрауға collect шақыру қазір әдепкі бойынша ағынды қозғалтқышты пайдаланады. Ағынды сұрауды параллель жұмыс істейтін бөліктерге бөледі, және бөліктер жұмысын аяқтағанда аяқтайды. Қосылу, group_by және unpivot үшін, шығарылым шығыс қатар ретін уәде етпейді. Шығысты сақталған файл қатар бойынша салыстыратын сынақтар бірінші болып бұзылуы мүмкін.

Осы бөлімді қараңыз 0:00 · Polars (pola.rs) · Polars documentation

Polars 2.0-ге жаңартқаннан кейін ескі қатар ретін қалай қайтаруға болады?

Қосылудан кейін айқын сұрыптауды қосыңыз, бұл көшіру нұсқаулығында ұсынылған, немесе қосылуда maintain_order аргументін орнатыңыз. Эпизодтың Polars 2.0.0-дегі іске қосуында, әдепкі ішкі қосылу қатарларды енгізу ретінен тыс қайтарды, ал maintain_order left_right-қа орнатылғанда ретті сақтады. Бұл бір машина, бір іске қосу және бір қосылу пішіні болды.

Осы бөлімді қараңыз 2:07 · Polars documentation

Polars 2.0 жадыдан үлкен деректерді өңдей алады ма?

Ішінара. Ядродан тыс төгілу әдепкі бойынша қосулы, шамамен ЖЖҚ-ның 80%-нан бастап, 64 ГБ әдепкі диск бюджетімен. Сұрыптау, терезе функциялары және көптеген өрнектер енді төгілуі мүмкін. Ядродан тыс қосылулар мен group-bys жол картасында, сондықтан бұл операциялар әлі төгілмейді.

Осы бөлімді қараңыз 0:56 · Polars (pola.rs) · Polars documentation

DuckDB және DataFusion-мен Polars 2.0 бенчмарк салыстыруларына сенуге бола ма?

Оларды жеткізушінің жеке талаптары ретінде қарастырыңыз. Polars TPC-H және TPC-DS бойынша DataFusion және DuckDB-ді жеңеді деп мәлімдейді, бірақ сандар өзінің туынды деректердегі іске қосуларынан алынған, және оның ескертпесі нәтижелер ресми бенчмарктермен салыстыруға болмайды деп айтады. Polars сондай-ақ үлкен машинаның қосымша ағындары шағын сұрауларды баяулатады дейді.

Осы бөлімді қараңыз 1:17 · Polars (pola.rs) · Polars on GitHub

Қолданыстағы Polars құбырларын 2.0 нұсқасына жаңарту қауіпсіз бе?

The Daily Diff үкімі NEEDS REVIEW болды. Эпизод жаңарту алдында әрбір қосылуды қарастырады, себебі одан кейін сұрыптаусыз кез келген қосылу қатар реті бойынша ешқашан қабылданбаған шешім болып табылады. Қатаңдатылған теру аздап көмектеседі, себебі схеманы тексеру деректер оқылғанға дейін жетіспейтін бағанды ұстайды, бірақ бір қатарда сәтсіз болатын каст тек collect кезінде сәтсіз болады.

Осы бөлімді қараңыз 2:20 · Polars documentation · Polars (pola.rs)

Аударылған транскрипция

Бастапқы ағылшын тіліндегі баяндамадан аударылған. Қолжетімді аудио және субтитрлерді YouTube басқарады.

Неліктен әдепкі рет өзгерді?

0:00 Сіз біріктіру сіздің жолдарыңызды жазған ретіңізбен қайтарады деп ойлайсыз. Polars 2.0 әдепкі бойынша бұл уәдені әдейі тоқтатты. Бұл бейнеде: неліктен әдепкі өзгерді? Ол не сатып алды? Және сіздің сценарийлеріңіздің қайсысы бірінші бұзылады? Бұл The Daily Diff, ішкі жағында. Polars - бұл ашық бастапқы кодты DataFrame кітапханасы: Python-дан шақыратын кесте қозғалтқышы,

0:20 негізі Rust-та жазылған. Ол MIT лицензиясы бойынша тегін, және оны pip install polars арқылы орнатасыз. Алдымен бір егжей-тегжейлі. Ескі ретті қайтаратын қосқыш біріктірудің өзіне аргумент болып табылады. Мен оған соңында ораламын. 2.0 нұсқасынан бастап, collect әдепкі бойынша ағынды қозғалтқышты іске қосады. Ағын сұранысты параллельді іске қосылатын бөліктерге бөледі, және бөліктер аяқталған кезде аяқталады.

0:42 Біріктіру, group by және unpivot үшін шығарылым ретке уәде бермейді. Кім бірінші соққыға ұшырайды? Шығысты сақталған файлмен жол-жолмен салыстыратындар. Бұл тест ноутбугіңізде өтуі мүмкін, бірақ басқа машинада сәтсіз аяқталуы мүмкін. Келесі, миграция нұсқаулығы.

Миграция нұсқаулығы не уәде етеді?

0:57 Ол жоғарыда көрсетілген жолдың нақты ретіне кепілдік берілмейді дейді. Сондықтан, егер сіз ретке сенсеңіз, нақты сұрыптаңыз. Ядродан тыс жұмыс та әдепкі бойынша қосулы. Ол ЖЖҚ сексен пайызға жуығында дискіге төгілуді бастайды, алпыс төрт гигабайттық бюджетпен. Сұрыптау, терезе функциялары және көптеген өрнектер енді төгілуі мүмкін. Біріктірулер мен group-by функциялары келе жатыр.

Салыстырмалы тест әділ бәсеке ме?

1:17 Polars TPC-H және TPC-DS салыстырмалы тесттерінде DataFusion және DuckDB-ді жеңеді дейді. Сандар олардың туынды деректер бойынша өз іске қосуларынан алынған, және олардың ескертпесінде олардың ресми нәтижелермен салыстыруға болмайтыны айтылған. Олардың өз сандары Polars TPC-H-да он алты ядродан жүз тоқсан екі ядроға дейін шамамен үш бүтін сегіз есе жылдамырақ болады дейді. Олар сонымен қатар үлкен машинаның қосымша ағындары шағын сұраныстарды баяулатады дейді. Біз Polars 2.0.0-де бірдей біріктіруді екі рет іске қостық.

Оны іске қосқанда не көреміз?

1:41 Әдепкі іске қосу жолдарды араластырады. Белгімен, енгізу реті сақталады. Тестті беретін біріктірулерді табыңыз. Одан кейін сұрыптау жоқ кез келген біріктіру - сіз ешқашан қабылдамаған жол реті туралы шешім. Polars 2.0 типтерге қатысты қатаңырақ. Схеманы тексеру деректер оқылмай тұрып жоқ бағанды табады.

Қатаңырақ ертерек дегенді білдіре ме?

1:58 Ол бір жолда сәтсіз аяқталған түрлендіруді таба алмайды, себебі бұл қате деректерді күтеді. Енді мен ашқан цикл. Қосқыш біріктіруде тұрады.

Ескі ретті қалай қайтарамын?

2:08 Біріктіруде maintain order параметрін орнатыңыз немесе одан кейін сұрыптауды қосыңыз. Нұсқаулық сұрыптауды ұсынады. Біріктіру белгісі біздің іске қосуымызда ретті сақтады, сол жақтың реті сол, оң ретінде сақталды. Үкім, ішкі жағында: тексеру қажет. Жаңарту алдында әрбір біріктіруді қарайтын едім.

Үкім қандай?

2:22 Бұл туралы сұрағыңыз бар ма? Оны пікірлерге жазыңыз. Және бұл бүгінгі айырмашылық. Мен Никомын, Axrisi-ден. Жауапкершілікпен біріктіріңіз. Жауапкершілікпен біріктіріңіз.

Дереккөздер

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Ұқсас бейнелер

daily · kk · 2026 ж. 07 қаз.

Hono сырттан келетін pull-сұрауларды шектейді, өйткені қызмет көрсетушілер салымдарды қабылдауды қайта қарастыруда

Hono MIT лицензиясы бар кодын сақтай отырып, сыртқы pull-сұрауларды жасауды өшірді. Sindre Sorhus өзінің репозиторий шектеулерін жеке түрде AI-ға байланыстырды және техникалық қызмет көрсету мен мәсел

5:22 ↗
daily · kk · 2026 ж. 13 қар.

DisplayLink Linux драйверінің патенттік дауы: талаптар және OIN кодектерінің қамтуы

Synaptics компаниясының патенттік талаптары Майк Лотианның ашық DisplayLink драйверінің прототипін тоқтатты. LWN-нің жаңа есебі ескі хат алмасуды, шартты ақшалай талапты және OIN кодектерін қамту шект

5:10 ↗
under-the-hood · kk · 2026 ж. 17 қаз.

Python өнімділігі: жергілікті NumPy циклдері, кері қоңыраулар және түрлендіру шығындары

Бақыланатын, тек CPU-ға арналған сандық тест бірдей мәндерді CPython циклдері, NumPy арифметикасы, Python кері қоңырау қаптамасы және компиляцияланған Numba циклі арқылы бақылайды. Дайын кіріс NumPy а

6:00 ↗