+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

Polars 2.0: ເປັນຫຍັງການຮ່ວມບໍ່ຮັກສາລຳດັບແຖວອີກຕໍ່ໄປ

Polars 2.0 ໃຊ້ collect ໃນເຄື່ອງຈັກສະຕຣີມມິງໂດຍຄ່າເລີ່ມຕົ້ນ.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Polars 2.0 ໃຊ້ collect ໃນເຄື່ອງຈັກສະຕຣີມມິງໂດຍຄ່າເລີ່ມຕົ້ນ. ສໍາລັບ join, group_by ແລະ unpivot, ລຸ້ນນີ້ບໍ່ຮັບປະກັນລຳດັບແຖວປ້ອນເຂົ້າອີກຕໍ່ໄປ ເວັ້ນເສຍແຕ່ວ່າທ່ານຈະກຳນົດ maintain_order ຫຼື sort ຢ່າງຊັດເຈນ. ໃນການທົດສອບຂອງພວກເຮົາໃນ polars 2.0.0, ການ join ແບບ inner 2,000,000 ແຖວ ໄດ້ສົ່ງຄືນແຖວອອກຈາກລຳດັບປ້ອນເຂົ້າໂດຍຄ່າເລີ່ມຕົ້ນ ແລະ ຮັກສາລຳດັບໄວ້ດ້ວຍ maintain_order. ລຸ້ນນີ້ຍັງເປີດການກ່າຍຂໍ້ມູນນອກຫຼັກ (out-of-core spilling) ແລະ ເຮັດໃຫ້ການອ້າງອີງມາດຕະຖານເປັນຂອງຜູ້ຂາຍເອງ.

ອ່ານສະບັບລາຍລັກອັກສອນ (ພາສາອັງກິດ) ↗

ສິ່ງທີ່ວິດີໂອນີ້ກວມເອົາ

  • ການເອີ້ນ collect() ໃນ lazy query ຕອນນີ້ໃຊ້ເຄື່ອງຈັກສະຕຣີມມິງໂດຍຄ່າເລີ່ມຕົ້ນ, ເຊິ່ງບໍ່ຮັບປະກັນລຳດັບແຖວສຳລັບ join, group_by ແລະ unpivot.
  • ຄູ່ມືການຍົກລະດັບກ່າວວ່າ ລຳດັບບໍ່ແມ່ນລຳດັບກ່ອນ 2.0 ອີກຕໍ່ໄປ ແລະ ບໍ່ຮັບປະກັນ; ມັນແນະນຳໃຫ້ຈັດລຽງຢ່າງຊັດເຈນ ຖ້າທ່ານອີງໃສ່ມັນ.
  • ໃນການທົດສອບຂອງພວກເຮົາ, ການ join ແບບ inner ໂດຍຄ່າເລີ່ມຕົ້ນໄດ້ສົ່ງຄືນຄ່າ False; maintain_order="left_right" ໃນການ join ໄດ້ສົ່ງຄືນຄ່າ True. ເຄື່ອງດຽວ, ການທົດສອບດຽວ, ຮູບແບບການ join ດຽວ.
  • ການກ່າຍຂໍ້ມູນນອກຫຼັກ (Out-of-core spilling) ເປີດໃຊ້ງານໂດຍຄ່າເລີ່ມຕົ້ນ: ມັນເລີ່ມຕົ້ນທີ່ປະມານ 80% ຂອງ RAM, ດ້ວຍງົບປະມານດິສກ໌ເລີ່ມຕົ້ນ 64 GB. ການ join ແລະ group_by ແບບ out-of-core ແມ່ນຢູ່ໃນແຜນງານ.
  • collect_schema() ຈັບຄໍລຳທີ່ຂາດຫາຍໄປກ່ອນທີ່ຈະອ່ານຂໍ້ມູນໃດໆ, ແຕ່ການ cast ທີ່ລົ້ມເຫຼວໃນຄ່າດຽວຈະລົ້ມເຫຼວໃນຕອນ collect() ເທົ່ານັ້ນ.
  • ການປຽບທຽບ TPC-H ແລະ TPC-DS ແມ່ນການທົດສອບຂອງຜູ້ຂາຍເອງກ່ຽວກັບຂໍ້ມູນທີ່ໄດ້ມາ, ແລະ ໝາຍເຫດກ່າວວ່າຜົນໄດ້ຮັບບໍ່ສາມາດປຽບທຽບກັບມາດຕະຖານທາງການໄດ້.

ຄຳຖາມແລະຄຳຕອບ

ເປັນຫຍັງການຮ່ວມມື Polars 2.0 ຈຶ່ງບໍ່ຮັກສາແຖວຢູ່ໃນຄໍາສັ່ງປ້ອນຂໍ້ມູນຂອງພວກເຂົາອີກຕໍ່ໄປ?

ການເອີ້ນເກັບກຳຂໍ້ມູນກ່ຽວກັບການສອບຖາມແບບ lazy ຕອນນີ້ໃຊ້ເຄື່ອງຈັກ streaming ໂດຍຄ່າເລີ່ມຕົ້ນ. ການ streaming ແບ່ງການສອບຖາມອອກເປັນສ່ວນໆທີ່ເຮັດວຽກພ້ອມກັນ, ແລະສ່ວນຕ່າງໆຈະສຳເລັດເມື່ອພວກມັນສຳເລັດ. ສໍາລັບ join, group_by ແລະ unpivot, ການປ່ອຍອອກມາຈຶ່ງບໍ່ໄດ້ສັນຍາວ່າຈະມີຄໍາສັ່ງແຖວຜົນຜະລິດ. ການທົດສອບທີ່ປຽບທຽບຜົນຜະລິດກັບໄຟລ໌ທີ່ບັນທຶກໄວ້ແຖວຕໍ່ແຖວແມ່ນສິ່ງທຳອິດທີ່ອາດຈະແຕກ.

ເບິ່ງພາກນີ້ 0:00 · Polars (pola.rs) · Polars documentation

ຂ້ອຍຈະເອົາຄໍາສັ່ງແຖວເກົ່າຄືນມາໄດ້ແນວໃດຫຼັງຈາກອັບເກຣດເປັນ Polars 2.0?

ເພີ່ມການຈັດລຽງທີ່ຊັດເຈນຫຼັງຈາກການຮ່ວມມື, ເຊິ່ງແມ່ນສິ່ງທີ່ຄູ່ມືການເຄື່ອນຍ້າຍແນະນໍາ, ຫຼືຕັ້ງຄ່າ maintain_order argument ຢູ່ບ່ອນຮ່ວມມື. ໃນການດໍາເນີນງານຂອງຕອນໃນ Polars 2.0.0, ການຮ່ວມມືພາຍໃນເລີ່ມຕົ້ນໄດ້ສົ່ງຄືນແຖວອອກຈາກຄໍາສັ່ງປ້ອນຂໍ້ມູນ, ໃນຂະນະທີ່ maintain_order ທີ່ຕັ້ງເປັນ left_right ຮັກສາຄໍາສັ່ງ. ນັ້ນແມ່ນເຄື່ອງຈັກດຽວ, ການດໍາເນີນງານດຽວແລະຮູບຮ່າງການຮ່ວມມືດຽວ.

ເບິ່ງພາກນີ້ 2:07 · Polars documentation

Polars 2.0 ສາມາດປະມວນຜົນຂໍ້ມູນທີ່ໃຫຍ່ກວ່າຄວາມຈໍາໄດ້ບໍ?

ສ່ວນໜຶ່ງ. Out-of-core spilling ແມ່ນເປີດໃຊ້ໂດຍຄ່າເລີ່ມຕົ້ນ, ເລີ່ມຕົ້ນທີ່ປະມານ 80 % ຂອງ RAM ດ້ວຍງົບປະມານແຜ່ນເກັບຂໍ້ມູນ 64 GB ໂດຍຄ່າເລີ່ມຕົ້ນ. Sort, window functions ແລະ many expressions ສາມາດ spill ໄດ້ແລ້ວ. Out-of-core joins ແລະ group-bys ແມ່ນຢູ່ໃນແຜນງານ, ດັ່ງນັ້ນການປະຕິບັດງານເຫຼົ່ານັ້ນຍັງບໍ່ spill ເທື່ອ.

ເບິ່ງພາກນີ້ 0:56 · Polars (pola.rs) · Polars documentation

ຂ້ອຍສາມາດໄວ້ໃຈການປຽບທຽບມາດຕະຖານ Polars 2.0 ກັບ DuckDB ແລະ DataFusion ໄດ້ບໍ?

ຖືວ່າເປັນການອ້າງສິດຂອງຜູ້ຂາຍເອງ. Polars ກ່າວວ່າມັນເອົາຊະນະ DataFusion ແລະ DuckDB ໃນ TPC-H ແລະ TPC-DS, ແຕ່ຕົວເລກມາຈາກການດໍາເນີນງານຂອງມັນເອງໃນຂໍ້ມູນທີ່ໄດ້ມາ, ແລະໝາຍເຫດຂອງມັນກ່າວວ່າຜົນໄດ້ຮັບບໍ່ສາມາດປຽບທຽບກັບມາດຕະຖານທາງການໄດ້. Polars ຍັງກ່າວວ່າ threads ເພີ່ມເຕີມຂອງເຄື່ອງຈັກໃຫຍ່ເຮັດໃຫ້ການສອບຖາມຂະຫນາດນ້ອຍຊ້າລົງ.

ເບິ່ງພາກນີ້ 1:17 · Polars (pola.rs) · Polars on GitHub

ມັນປອດໄພບໍທີ່ຈະອັບເກຣດ Polars pipelines ທີ່ມີຢູ່ແລ້ວໄປເປັນເວີຊັນ 2.0?

ຄໍາຕັດສິນຂອງ The Daily Diff ແມ່ນ NEEDS REVIEW. ຕອນນີ້ຈະທົບທວນທຸກການຮ່ວມມືກ່ອນທີ່ຈະອັບເກຣດ, ເພາະວ່າການຮ່ວມມືໃດໆທີ່ບໍ່ມີການຈັດລຽງຫຼັງຈາກນັ້ນແມ່ນການຕັດສິນໃຈຄໍາສັ່ງແຖວທີ່ບໍ່ເຄີຍເຮັດ. ການພິມທີ່ເຄັ່ງຄັດກວ່າຊ່ວຍໄດ້ເລັກນ້ອຍ, ເພາະວ່າການກວດສອບ schema ຈະຈັບຄໍລໍາມທີ່ຂາດຫາຍໄປກ່ອນທີ່ຈະອ່ານຂໍ້ມູນ, ແຕ່ການ cast ທີ່ລົ້ມເຫລວໃນແຖວດຽວເທົ່ານັ້ນທີ່ຈະລົ້ມເຫລວໃນການເກັບກໍາ.

ເບິ່ງພາກນີ້ 2:20 · Polars documentation · Polars (pola.rs)

ບົດບັນທຶກທີ່ແປແລ້ວ

ແປຈາກຄຳບັນຍາຍຕົ້ນສະບັບພາສາອັງກິດ. ສຽງ ແລະ ຄຳບັນຍາຍທີ່ມີໃຫ້ແມ່ນຄວບຄຸມໂດຍ YouTube.

ເປັນຫຍັງຄ່າເລີ່ມຕົ້ນຈຶ່ງປ່ຽນແປງ?

0:00 ທ່ານຄິດວ່າການ join ສົ່ງຄືນແຖວຂອງທ່ານຕາມລຳດັບທີ່ທ່ານຂຽນ. Polars 2.0 ໄດ້ຢຸດເຊົາການສັນຍາແບບນັ້ນ, ໂດຍຄ່າເລີ່ມຕົ້ນ, ໂດຍຕັ້ງໃຈ. ໃນວິດີໂອນີ້: ເປັນຫຍັງຄ່າເລີ່ມຕົ້ນຈຶ່ງປ່ຽນແປງ? ມັນຊື້ຫຍັງ? ແລະ script ໃດຂອງເຈົ້າຈະເສຍກ່ອນ? ນີ້ແມ່ນ The Daily Diff, ເບື້ອງຫຼັງ. Polars ແມ່ນຫ້ອງສະໝຸດ DataFrame ແບບ open-source: ເຄື່ອງຈັກຕາຕະລາງທີ່ທ່ານເອີ້ນຈາກ Python,

0:20 ດ້ວຍແກນຫຼັກທີ່ຂຽນດ້ວຍ Rust. ມັນບໍ່ເສຍຄ່າພາຍໃຕ້ໃບອະນຸຍາດ MIT, ແລະທ່ານຕິດຕັ້ງມັນດ້ວຍ pip install polars. ລາຍລະອຽດໜຶ່ງກ່ອນ. ປຸ່ມທີ່ນໍາລຳດັບເກົ່າກັບມາແມ່ນ argument ຂອງການ join ນັ້ນເອງ. ຂ້ອຍຈະກັບມາເວົ້າເຖິງມັນໃນຕອນທ້າຍ. ຕັ້ງແຕ່ 2.0, collect ໃຊ້ເຄື່ອງຈັກສະຕຣີມມິງໂດຍຄ່າເລີ່ມຕົ້ນ. Streaming ແຍກ query ອອກເປັນສ່ວນໆທີ່ເຮັດວຽກພ້ອມກັນ, ແລະສ່ວນຕ່າງໆຈະສຳເລັດເມື່ອພວກມັນສຳເລັດ.

0:42 ສຳລັບ join, group by ແລະ unpivot, ລຸ້ນນີ້ບໍ່ໄດ້ສັນຍາລຳດັບ. ໃຜຈະຖືກກະທົບກ່ອນ? ໃຜກໍຕາມທີ່ປຽບທຽບຜົນໄດ້ຮັບກັບໄຟລ໌ທີ່ບັນທຶກໄວ້, ແຖວຕໍ່ແຖວ. ການທົດສອບນັ້ນສາມາດຜ່ານໃນ laptop ຂອງທ່ານ ແລະ ລົ້ມເຫຼວໃນເຄື່ອງອື່ນ. ຕໍ່ໄປ, ຄູ່ມືການຍົກລະດັບ.

ຄູ່ມືການຍົກລະດັບສັນຍາຫຍັງ?

0:57 ມັນກ່າວວ່າລຳດັບແຖວທີ່ສະແດງຢູ່ຂ້າງເທິງບໍ່ໄດ້ຮັບປະກັນ. ດັ່ງນັ້ນຖ້າທ່ານອີງໃສ່ລຳດັບ, ຈັດລຽງຢ່າງຊັດເຈນ. Out-of-core ກໍເປີດໃຊ້ງານໂດຍຄ່າເລີ່ມຕົ້ນເຊັ່ນກັນ. ມັນເລີ່ມກ່າຍຂໍ້ມູນໄປຫາດິສກ໌ທີ່ປະມານ 80 ສ່ວນຮ້ອຍຂອງ RAM, ດ້ວຍງົບປະມານຫົກສິບສີ່ກິກະໄບ. Sort, window functions ແລະຫຼາຍ expression ສາມາດກ່າຍຂໍ້ມູນໄດ້ຕອນນີ້. Joins ແລະ group-bys ກຳລັງຈະມາ.

ການທົດສອບເປັນການຕໍ່ສູ້ທີ່ຍຸດຕິທຳບໍ?

1:17 Polars ກ່າວວ່າມັນດີກວ່າ DataFusion ແລະ DuckDB ໃນ TPC-H ແລະ TPC-DS ມາດຕະຖານ. ຕົວເລກມາຈາກການທົດສອບຂອງພວກເຂົາເອງ, ກ່ຽວກັບຂໍ້ມູນທີ່ໄດ້ມາ, ແລະໝາຍເຫດຂອງພວກເຂົາກ່າວວ່າພວກມັນບໍ່ສາມາດປຽບທຽບກັບຜົນທາງການໄດ້. ຕົວເລກຂອງພວກເຂົາເອງກ່າວວ່າ Polars ໄວຂຶ້ນປະມານສາມຈຸດແປດເທົ່າຈາກ ສິບຫົກຄໍໄປຫາໜຶ່ງຮ້ອຍເກົ້າສິບສອງ, ໃນ TPC-H. ພວກເຂົາຍັງກ່າວວ່າ thread ເພີ່ມເຕີມຂອງເຄື່ອງໃຫຍ່ເຮັດໃຫ້ query ນ້ອຍໆຊ້າລົງ.

ພວກເຮົາເຫັນຫຍັງເມື່ອພວກເຮົາທົດລອງມັນ?

1:41 ພວກເຮົາໄດ້ທົດສອບການ join ເດີມສອງຄັ້ງໃນ Polars 2.0.0. ການທົດສອບໂດຍຄ່າເລີ່ມຕົ້ນເຮັດໃຫ້ແຖວປົນກັນ. ດ້ວຍ flag, ລຳດັບປ້ອນເຂົ້າຈະຍັງຄົງຢູ່. ຊອກຫາການ join ທີ່ນຳໄປສູ່ການທົດສອບ. ການ join ໃດໆທີ່ບໍ່ມີ sort ຫຼັງຈາກນັ້ນແມ່ນການຕັດສິນໃຈລຳດັບແຖວທີ່ທ່ານບໍ່ເຄີຍເຮັດ. Polars 2.0 ເຂັ້ມງວດຂຶ້ນກ່ຽວກັບປະເພດ.

ເຂັ້ມງວດກວ່າໝາຍເຖິງໄວກວ່າບໍ?

1:58 ການກວດສອບ schema ຈັບຄໍລຳທີ່ຂາດຫາຍໄປກ່ອນທີ່ຈະອ່ານຂໍ້ມູນໃດໆ. ມັນບໍ່ສາມາດຈັບການ cast ທີ່ລົ້ມເຫຼວໃນແຖວດຽວໄດ້, ເພາະວ່າຄວາມຜິດພາດນັ້ນລໍຖ້າ ຂໍ້ມູນ. ຕອນນີ້ loop ທີ່ຂ້ອຍໄດ້ເປີດ.

ຂ້ອຍຈະເອົາລຳດັບເກົ່າຄືນມາໄດ້ແນວໃດ?

2:08 ປຸ່ມຢູ່ທີ່ການ join. ກຳນົດ maintain order ໃນການ join, ຫຼືເພີ່ມ sort ຫຼັງຈາກນັ້ນ. ຄູ່ມືແນະນຳໃຫ້ໃຊ້ sort. join flag ຮັກສາລຳດັບໄວ້ໃນການທົດສອບຂອງພວກເຮົາ, ໂດຍມີລຳດັບຂອງຝ່າຍຊ້າຍຖືກຮັກສາໄວ້ເປັນ ຊ້າຍ, ຂວາ. ຄໍາຕັດສິນ, ເບື້ອງຫຼັງ: NEEDS REVIEW.

ຄຳຕັດສິນແມ່ນຫຍັງ?

2:22 ຂ້ອຍຈະທົບທວນການ join ທຸກຄັ້ງກ່ອນການຍົກລະດັບ. ມີຄໍາຖາມກ່ຽວກັບເລື່ອງນີ້ບໍ? ໃສ່ໄວ້ໃນຄໍາເຫັນ. ແລະນັ້ນຄືຄວາມແຕກຕ່າງສໍາລັບມື້ນີ້. ຂ້ອຍຊື່ Niko ຈາກ Axrisi. Merge ຢ່າງມີຄວາມຮັບຜິດຊອບ.

ແຫຼ່ງຂໍ້ມູນ

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

ວິດີໂອທີ່ກ່ຽວຂ້ອງ

daily · lo · 7 ຕ.ລ. 2026

Hono ຈຳກັດການດຶງຄຳຮ້ອງຂໍຈາກພາຍນອກ ເນື່ອງຈາກຜູ້ຮັກສາໂຄງການພິຈາລະນາການຮັບເອົາການປະກອບສ່ວນຄືນໃໝ່

Hono ໄດ້ປິດການສ້າງຄຳຮ້ອງຂໍການດຶງຈາກພາຍນອກ ໃນຂະນະທີ່ຍັງຄົງຮັກສາລະຫັດທີ່ໄດ້ຮັບອະນຸຍາດແບບ MIT. Sindre Sorhus ແຍກຕ່າງຫາກໄດ້ກ່າວເຖິງຂໍ້ຈຳກັດຂອງບ່ອນເກັບຂໍ້ມູນຂອງຕົນເອງກັບ AI ແລະກ່າວວ່າການບຳລຸງຮັກສາ ແລະການຈັ

5:22 ↗
daily · lo · 13 ພ.ຈ. 2026

ການຂັດແຍ້ງສິດທິບັດໄດເວີ DisplayLink Linux: ຄວາມຕ້ອງການແລະການຄຸ້ມຄອງລະຫັດ OIN

ຄວາມຕ້ອງການສິດທິບັດຂອງ Synaptics ໄດ້ຢຸດເຊົາຕົ້ນແບບໄດເວີ DisplayLink ແບບເປີດຂອງ Mike Lothian. ບົດລາຍງານໃໝ່ຂອງ LWN ອະທິບາຍເຖິງຈົດໝາຍເກົ່າ, ຄວາມຕ້ອງການດ້ານການເງິນແບບມີເງື່ອນໄຂ ແລະຂີດຈຳກັດການຄຸ້ມຄອງລະຫັດ

5:10 ↗
under-the-hood · lo · 17 ຕ.ລ. 2026

ການປະຕິບັດງານຂອງ Python: native NumPy loops, callbacks ແລະ conversion costs

ການທົດສອບຕົວເລກສະເພາະ CPU ທີ່ຖືກຄວບຄຸມ ຕິດຕາມຄ່າທີ່ຄືກັນຜ່ານ CPython loops, NumPy arithmetic, wrapper callback ຂອງ Python ແລະ Numba loop ທີ່ຖືກ compile. NumPy ທີ່ພ້ອມປ້ອນຂໍ້ມູນມີຄວາມໄດ້ປຽບຫຼາຍ, ໃນຂະນະ

6:00 ↗
daily · lo · 7 ຕ.ລ. 2026

Google ນໍາ JPEG XL ກັບຄືນສູ່ Chrome

Google ປະກາດການຖອດລະຫັດ JPEG XL ໂດຍເລີ່ມຕົ້ນດ້ວຍ Chrome 155 ຫຼັງຈາກການທົດລອງກ່ອນໜ້ານີ້ຖືກລຶບອອກ. ສະບັບວັນທີ 7 ຕຸລານີ້ກວດກາຄໍາຄິດເຫັນຂອງນັກພັດທະນາ, ເຄື່ອງຖອດລະຫັດ Rust ໃໝ່, ການຮຽກຮ້ອງການບີບອັດທີ່ແຂ່ງຂັ

5:17 ↗