+− THE DAILY DIFFdev & AI news
NEEDS REVIEW

প'লাৰ্ছ ২.০: জইনে কিয় তেওঁলোকৰ শাৰীৰ ক্ৰম আৰু নাৰাখে

প'লাৰ্ছ ২.০ এ স্বাভাৱিকভাৱে এটা ষ্ট্ৰিমিং ইঞ্জিনত সংগ্ৰহ চলায়।

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

প'লাৰ্ছ ২.০ এ স্বাভাৱিকভাৱে এটা ষ্ট্ৰিমিং ইঞ্জিনত সংগ্ৰহ চলায়। জইন, গ্ৰুপ_বাই আৰু আনপিভটৰ বাবে, যদি আপুনি এক্সপ্লিকিটলি মেইনটেইন_অৰ্ডাৰ বা চৰ্ট ছেট নকৰে, তেন্তে এই সংস্কৰণে ইনপুট শাৰীৰ ক্ৰমৰ নিশ্চয়তা নিদিয়ে। প'লাৰ্ছ ২.০.০ ত আমাৰ ৰানত, ২,০০,০০০-শাৰীৰ এটা ইনছাৰ্ট জইনে স্বাভাৱিকভাৱে ইনপুট ক্ৰমৰ বাহিৰৰ শাৰীবোৰ ঘূৰাই দিলে আৰু মেইনটেইন_অৰ্ডাৰ ছেট কৰি ক্ৰমটো ৰাখিলে। এই সংস্কৰণে আউট-অফ-কোৰ স্পিলিংও অন কৰে আৰু বেঞ্চমাৰ্ক দাবীসমূহ বিক্ৰেতাৰ নিজৰ কৰি তোলে।

লিখিত সংস্কৰণ পঢ়ক (ইংৰাজী) ↗

এই ভিডিঅ’টোত কি আছে

  • এটা লেজি কুৱেৰীত collect() কল কৰিলে এতিয়া স্বাভাৱিকভাৱে ষ্ট্ৰিমিং ইঞ্জিন ব্যৱহাৰ কৰা হয়, যিয়ে জইন, গ্ৰুপ_বাই আৰু আনপিভটৰ বাবে শাৰীৰ ক্ৰমৰ নিশ্চয়তা নিদিয়ে।
  • মাইগ্ৰেচন গাইডে কৈছে যে ক্ৰমটো এতিয়া ২.০-ৰ আগৰ ক্ৰম নহয় আৰু ইয়াৰ নিশ্চয়তা নাই; যদি আপুনি ইয়াৰ ওপৰত নিৰ্ভৰ কৰে তেন্তে ই এটা এক্সপ্লিকিট চৰ্টৰ পৰামৰ্শ দিয়ে।
  • আমাৰ ৰানত, এটা স্বাভাৱিক ইনছাৰ্ট জইনে ইনপুট ক্ৰম ফল্ছ ঘূৰাই দিলে; জইনত মেইনটেইন_অৰ্ডাৰ="left_right" এ ট্ৰু ঘূৰাই দিলে। এটা মেচিন, এটা ৰান, এটা জইন আকৃতি।
  • আউট-অফ-কোৰ স্পিলিং স্বাভাৱিকভাৱে অন থাকে: ই RAM ৰ প্ৰায় ৮০% ত আৰম্ভ হয়, এটা ৬৪ GB ডিফল্ট ডিস্ক বাজেটৰ সৈতে। আউট-অফ-কোৰ জইন আৰু গ্ৰুপ_বাই ৰোডমেপত আছে।
  • collect_schema() এ কোনো ডাটা পঢ়াৰ আগতে এটা হেৰুৱা কলম ধৰা পেলায়, কিন্তু এটা কাষ্ট যি এটা মানত বিফল হয় সেয়া collect() তহে বিফল হয়।
  • TPC-H আৰু TPC-DS তুলনা বিক্ৰেতাৰ নিজৰ ডিৰাইভড ডাটাৰ ওপৰত কৰা ৰান, আৰু ইয়াৰ ফুটনোটত কৈছে যে ফলাফলবোৰ অফিচিয়েল বেঞ্চমাৰ্কৰ সৈতে তুলনীয় নহয়।

প্ৰশ্ন আৰু উত্তৰ

প'লাৰ্ছ ২.০ যোগদানসমূহে কিয় ইনপুট ক্ৰমত শাৰীবোৰ আৰু নাৰাখে?

এটা লেজি কুৱেৰীত 'কালেক্ট' কল কৰিলে এতিয়া স্বাভাৱিকভাৱে ষ্ট্ৰিমিং ইঞ্জিন ব্যৱহাৰ কৰে। ষ্ট্ৰিমিঙে কুৱেৰীটোক খণ্ডবোৰত বিভক্ত কৰে যিবোৰ সমান্তৰালভাৱে চলে, আৰু খণ্ডবোৰ শেষ হোৱাৰ লগে লগে শেষ হয়। 'জইন', 'গ্ৰুপ_বাই' আৰু 'আনপিভট'ৰ বাবে, সেয়েহে ৰিলিজে এটা আউটপুট শাৰী ক্ৰমৰ প্ৰতিশ্ৰুতি নিদিয়ে। সংৰক্ষিত ফাইলৰ শাৰীৰ সৈতে শাৰী তুলনা কৰা পৰীক্ষাবোৰেই প্ৰথমে ভংগ হোৱাৰ সম্ভাৱনা আছে।

এই অংশটো চাওক 0:00 · Polars (pola.rs) · Polars documentation

প'লাৰ্ছ ২.০-লৈ আপগ্ৰেড কৰাৰ পিছত মই কেনেকৈ পুৰণি শাৰী ক্ৰম ঘূৰাই পাম?

যোগদানৰ পিছত এটা স্পষ্ট ক্ৰম যোগ কৰক, যিটো মাইগ্ৰেচন গাইডে পৰামৰ্শ দিয়ে, অথবা যোগদানত 'মেইনটেইন_অৰ্ডাৰ' আৰ্গুমেন্ট ছেট কৰক। প'লাৰ্ছ ২.০.০-ত এপিচোডৰ ৰানত, এটা ডিফল্ট ইনেন জইনে ইনপুট ক্ৰমৰ বাহিৰত শাৰীবোৰ ঘূৰাই দিছিল, আনহাতে 'মেইনটেইন_অৰ্ডাৰ' 'লেফট_ৰাইট'লৈ ছেট কৰিলে ক্ৰমটো ৰাখিছিল। সেয়া আছিল এটা মেচিন, এটা ৰান আৰু এটা জইন শেইপ।

এই অংশটো চাওক 2:07 · Polars documentation

প'লাৰ্ছ ২.০-এ মেমৰীতকৈ ডাঙৰ ডেটা প্ৰক্ৰিয়া কৰিব পাৰেনে?

আংশিকভাৱে। 'আউট-অফ-ক’ৰ স্পিলিং' স্বাভাৱিকভাৱে চালু থাকে, যাৰ আৰম্ভণি প্ৰায় ৮০% ৰেমৰ পৰা হয় আৰু এটা ৬৪ জিবি ডিফল্ট ডিস্ক বাজেট থাকে। 'ছৰ্ট', 'উইণ্ডো ফাংচন' আৰু বহুতো এক্সপ্ৰেচনে এতিয়া স্পিল কৰিব পাৰে। 'আউট-অফ-ক’ৰ জইন' আৰু 'গ্ৰুপ-বাই' ৰোডমেপত আছে, সেয়েহে সেই অপাৰেচনবোৰে এতিয়াও স্পিল নকৰে।

এই অংশটো চাওক 0:56 · Polars (pola.rs) · Polars documentation

মই ডকডিবি আৰু ডেটাফিউচনৰ সৈতে প'লাৰ্ছ ২.০ বেঞ্চমাৰ্ক তুলনাবোৰ বিশ্বাস কৰিব পাৰোনে?

সেইবোৰক বিক্ৰেতাৰ নিজা দাবী হিচাপে গণ্য কৰক। প'লাৰ্ছে কয় যে ই টিপিচি-এইচ আৰু টিপিচি-ডিএছত ডেটাফিউচন আৰু ডকডিবি-ক হৰুৱায়, কিন্তু সংখ্যাবোৰ ইয়াৰ নিজা ৰানৰ পৰা আহৰণ কৰা ডেটাৰ ওপৰত আহে, আৰু ইয়াৰ ফুটনোটত কয় যে ফলাফলবোৰ অফিচিয়েল বেঞ্চমাৰ্কৰ সৈতে তুলনীয় নহয়। প'লাৰ্ছে লগতে কয় যে ডাঙৰ মেচিনৰ অতিৰিক্ত থ্ৰেডবোৰে সৰু কুৱেৰীবোৰ লেহেমীয়া কৰে।

এই অংশটো চাওক 1:17 · Polars (pola.rs) · Polars on GitHub

বিদ্যমান প'লাৰ্ছ পাইপলাইনবোৰ সংস্কৰণ ২.০-লৈ আপগ্ৰেড কৰাটো সুৰক্ষিতনে?

দ্য ডেইলী ডিফৰ ৰায় আছিল 'নিডছ ৰিভিউ'। এপিচোডে আপগ্ৰেড কৰাৰ আগতে প্ৰতিটো জইন পুনৰীক্ষণ কৰিব, কিয়নো ইয়াৰ পিছত 'ছৰ্ট' নোহোৱা যিকোনো জইন হৈছে এটা শাৰী ক্ৰমৰ সিদ্ধান্ত যি কেতিয়াও লোৱা হোৱা নাই। কঠোৰ টাইপিঙে অলপ সহায় কৰে, কিয়নো স্কিমা চেকে ডেটা পঢ়াৰ আগতে এটা হেৰুওৱা স্তম্ভ ধৰি পেলায়, কিন্তু এটা শাৰীত বিফল হোৱা এটা কাষ্ট কেৱল 'কালেক্ট'ত বিফল হয়।

এই অংশটো চাওক 2:20 · Polars documentation · Polars (pola.rs)

অনূদিত ট্ৰান্সক্ৰিপ্ট

মূল ইংৰাজী বৰ্ণনাৰ পৰা অনুবাদ কৰা হৈছে। উপলব্ধ অডিঅ’ আৰু কেপচন ইউটিউবে নিয়ন্ত্ৰণ কৰে।

ডিফল্ট ক্ৰম কিয় সলনি হ'ল?

0:00 আপুনি ভাবে যে এটা জইনে আপোনাৰ শাৰীবোৰ সেই ক্ৰমত ঘূৰাই দিয়ে যিদৰে আপুনি সেয়া লিখিছিল। প'লাৰ্ছ ২.০ এ স্বাভাৱিকভাৱে, উদ্দেশ্যপ্ৰণোদিতভাৱে সেই প্ৰতিজ্ঞা কৰা বন্ধ কৰি দিলে। এই ভিডিঅ'ত: ডিফল্ট কিয় সলনি হ'ল? ই কি লাভ কৰিলে? আৰু আপোনাৰ কোনটো স্ক্ৰিপ্ট প্ৰথমে ভংগ হ'ব? এইটো The Daily Diff, আন্ডাৰ দ্য হুড। প'লাৰ্ছ এটা অপেন-চৌৰ্চ ডেটাফ্ৰেম লাইব্ৰেৰী: এটা টেবুল ইঞ্জিন যি আপুনি পাইথনৰ পৰা কল কৰে,

0:20 ইয়াৰ কোৰ ৰাষ্টত লিখা হৈছে। এইটো MIT অনুজ্ঞাপত্ৰৰ অধীনত বিনামূলীয়া, আৰু আপুনি ইয়াক pip install polars ৰ সৈতে ইনষ্টল কৰে। এটা সৰু কথা প্ৰথমে। পুৰণি ক্ৰম ঘূৰাই অনা চুইচটো জইনটোৰ এটা আৰ্গুমেন্ট। মই শেষত ইয়ালৈ ঘূৰি আহিম। ২.০ ৰ পৰা, collect এ স্বাভাৱিকভাৱে ষ্ট্ৰিমিং ইঞ্জিন চলায়। ষ্ট্ৰিমিঙে কুৱেৰীটোক খণ্ডবোৰত বিভক্ত কৰে যিবোৰ সমান্তৰালভাৱে চলে, আৰু খণ্ডবোৰ যেতিয়া শেষ হয় তেতিয়াই শেষ হয়।

0:42 জইন, গ্ৰুপ বাই আৰু আনপিভটৰ বাবে, এই সংস্কৰণে এটা ক্ৰমৰ প্ৰতিশ্ৰুতি নিদিয়ে। কোনে প্ৰথমে আঘাত পাব? যিয়েই আউটপুট এটা সংৰক্ষিত ফাইলৰ সৈতে শাৰীয়ে শাৰী তুলনা কৰে। সেই পৰীক্ষা আপোনাৰ লেপটপত পাছ হ'ব পাৰে আৰু বেলেগ এটা মেচিনত বিফল হ'ব পাৰে। তাৰ পিছত, মাইগ্ৰেচন গাইড।

মাইগ্ৰেচন গাইডে কি প্ৰতিজ্ঞা কৰে?

0:57 ইয়াত কৈছে যে ওপৰত দেখুওৱা সঠিক শাৰীৰ ক্ৰমৰ নিশ্চয়তা নাই। সেয়েহে যদি আপুনি ক্ৰমৰ ওপৰত নিৰ্ভৰ কৰে, তেন্তে স্পষ্টভাৱে চৰ্ট কৰক। আউট-অফ-কোৰো স্বাভাৱিকভাৱে অন থাকে। ই RAM ৰ প্ৰায় আশী শতাংশত ডিস্কলৈ স্পিলিং আৰম্ভ কৰে, একষষ্টিশ গিগাবাইট বাজেটৰ সৈতে। চৰ্ট, উইণ্ডো ফাংচন আৰু বহুতো এক্সপ্ৰেচন এতিয়া স্পিল হ'ব পাৰে। জইন আৰু গ্ৰুপ-বাই আহি আছে।

বেঞ্চমাৰ্কটো এটা নিৰপেক্ষ যুঁজ নে?

1:17 প'লাৰ্ছে কয় যে ই TPC-H আৰু TPC-DS বেঞ্চমাৰ্কত DataFusion আৰু DuckDB ক হৰুৱায়। সংখ্যাবোৰ তেওঁলোকৰ নিজৰ ৰানৰ পৰা আহে, ডিৰাইভড ডাটাৰ ওপৰত, আৰু তেওঁলোকৰ ফুটনোটত কৈছে যে সেয়া অফিচিয়েল ফলাফলৰ সৈতে তুলনীয় নহয়। তেওঁলোকৰ নিজৰ সংখ্যাই কয় যে প'লাৰ্ছে TPC-H ত ষোল্লটা কোৰৰ পৰা একশ বিৰান্নব্বৈলৈ প্ৰায় তিনি দশমিক আঠ গুণ বেছি দ্ৰুত হয়। তেওঁলোকে এইটোও কয় যে ডাঙৰ মেচিনৰ অতিৰিক্ত থ্ৰেডে সৰু কুৱেৰীবোৰ লেহেমীয়া কৰে। আমি Polars 2.0.0 ত একেটা জইন দুবাৰ চলাইছিলোঁ।

আমি ইয়াক চলাওঁতে কি দেখো?

1:41 ডিফল্ট ৰানে শাৰীবোৰ চাফেল কৰে। ফ্লেগৰ সৈতে, ইনপুট ক্ৰমটো জীয়াই থাকে। এটা পৰীক্ষা ফীড কৰা জইনবোৰ বিচাৰক। তাৰ পিছত চৰ্ট নোহোৱা যিকোনো জইন এটা শাৰীৰ ক্ৰমৰ সিদ্ধান্ত যি আপুনি কেতিয়াও লোৱা নাছিল। প'লাৰ্ছ ২.০ এ প্ৰকাৰবোৰৰ বিষয়ে অধিক কঠোৰ। স্কিমা চেকটোৱে কোনো ডাটা পঢ়াৰ আগতে এটা হেৰুৱা কলম ধৰা পেলায়।

কঠোৰ মানে আগতীয়া নে?

1:58 ই এটা কাষ্ট ধৰা পেলাব নোৱাৰে যি এটা শাৰীত বিফল হয়, কিয়নো সেই ত্ৰুটিটো ডাটাৰ বাবে অপেক্ষা কৰে। এতিয়া মই খোলা লুপটো। চুইচটো জইনটোত থাকে।

মই পুৰণি ক্ৰমটো কেনেকৈ ঘূৰাই পাম?

2:08 জইনটোত maintain order ছেট কৰক, বা ইয়াৰ পিছত এটা চৰ্ট যোগ কৰক। গাইডটোৱে চৰ্টটোৰ পৰামৰ্শ দিয়ে। জইন ফ্লেগটোৱে আমাৰ ৰানত ক্ৰমটো ৰাখিছিল, বাওঁফালৰ ক্ৰমটো বাওঁ, সোঁ হিচাপে ৰখা হৈছিল। রায়, আন্ডাৰ দ্য হুড: NEEDS REVIEW। আপগ্ৰেড কৰাৰ আগতে মই প্ৰতিটো জইন ৰিভিউ কৰিম।

রায় কি?

2:22 ইয়াৰ বিষয়ে কিবা প্ৰশ্ন আছে নেকি? ইয়াক কমেণ্টত দিয়ক। আৰু এইটোৱেই আজিৰ বাবে diff। মই Axrisi ৰ পৰা Niko। দায়িত্বশীলভাৱে মাৰ্জ কৰক। দায়িত্বশীলভাৱে মাৰ্জ কৰক।

উৎসসমূহ

  1. Release of Polars 2.0Polars (pola.rs)
  2. Polars 2.0 upgrade guidePolars documentation
  3. Polars homepagePolars (pola.rs)
  4. polars-2.0-benchmark repositoryPolars on GitHub
  5. Release of Polars 2.0 (Hacker News discussion)Hacker News

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

সম্পৰ্কিত ভিডিঅ’সমূহ

daily · as · ০৭-১০-২০২৬

Hono-এ বাহিৰা পুল অনুৰোধ সীমাবদ্ধ কৰে যিহেতু মেৰামতিকাৰীসকলে অৰিহণা গ্ৰহণৰ পুনৰ বিবেচনা কৰে

Hono-এ বাহ্যিক পুল-অনুরোধ সৃষ্টি অক্ষম কৰিলে যদিও ইয়াৰ MIT-অনুজ্ঞাপত্ৰযুক্ত ক'ড অক্ষত ৰাখিলে। সিন্দ্ৰে চোৰহাছে সুকীয়াভাৱে তেওঁৰ নিজৰ ৰিপ'জিটৰীৰ সীমাবদ্ধতাৰ বাবে AI-ক দায়ী কৰিলে আৰু ক'লে যে ৰক্ষণাবে

5:22 ↗
daily · as · ১৩-১১-২০২৬

DisplayLink লিনাক্স ড্ৰাইভাৰ পেটেন্ট বিবাদ: দাবী আৰু OIN ক'ডেক কভাৰেজ

Synaptics-ৰ পেটেন্ট দাবীবোৰে মাইক লথিয়ানৰ অপেন DisplayLink ড্ৰাইভাৰ প্ৰটোটাইপ স্থবিৰ কৰি তুলিছিল। LWN-ৰ নতুন প্ৰতিবেদনত পুৰণি পত্ৰালাপ, এক চৰ্তসাপেক্ষ আৰ্থিক দাবী আৰু এক OIN ক'ডেক-কভাৰেজৰ সীমাৰ বিষয়

5:10 ↗
under-the-hood · as · ১৭-১০-২০২৬

পাইথনৰ কাৰ্যক্ষমতা: নেটিভ নাম্পাই লুপ, কলবেক আৰু ৰূপান্তৰৰ খৰচ

নিয়ন্ত্ৰিত চি.পি.ইউ.-কেৱল সাংখ্যিক পৰীক্ষাত চিপিথন লুপ, নাম্পাই এৰিথমেটিক, পাইথন কলবেক ৰেপাৰ আৰু এটা কম্পাইল্ড নাম্বা লুপৰ মাজেৰে একেটা মান অনুসৰণ কৰা হৈছে। ৰেডি-ইনপুট নাম্পায়ে এক বৃহৎ অগ্ৰগতি লাভ কৰি

6:00 ↗
daily · as · ০৭-১০-২০২৬

গুগলে JPEG XL ক্ৰোমলে উভতি আহিছে

গুগলে পূৰ্বৰ পৰীক্ষাটো আঁতৰাই পেলোৱাৰ পিছত ক্ৰোম ১৫৫ ৰ পৰা JPEG XL ডিকোডিংৰ ঘোষণা কৰিছে। এই ৭ অক্টোবৰৰ সংস্কৰণটোত ডেভেলপাৰৰ মতামত, নতুন ৰাষ্ট ডিকোডাৰ, প্ৰতিযোগী ক্ৰম্প্ৰেছন দাবী আৰু ডিপ্লয়মেন্ট ফলবেক

5:17 ↗