প'লাৰ্ছ ২.০: জইনে কিয় তেওঁলোকৰ শাৰীৰ ক্ৰম আৰু নাৰাখে

এই ভিডিঅ’টোত কি আছে

• এটা লেজি কুৱেৰীত collect() কল কৰিলে এতিয়া স্বাভাৱিকভাৱে ষ্ট্ৰিমিং ইঞ্জিন ব্যৱহাৰ কৰা হয়, যিয়ে জইন, গ্ৰুপ_বাই আৰু আনপিভটৰ বাবে শাৰীৰ ক্ৰমৰ নিশ্চয়তা নিদিয়ে।
• মাইগ্ৰেচন গাইডে কৈছে যে ক্ৰমটো এতিয়া ২.০-ৰ আগৰ ক্ৰম নহয় আৰু ইয়াৰ নিশ্চয়তা নাই; যদি আপুনি ইয়াৰ ওপৰত নিৰ্ভৰ কৰে তেন্তে ই এটা এক্সপ্লিকিট চৰ্টৰ পৰামৰ্শ দিয়ে।
• আমাৰ ৰানত, এটা স্বাভাৱিক ইনছাৰ্ট জইনে ইনপুট ক্ৰম ফল্ছ ঘূৰাই দিলে; জইনত মেইনটেইন_অৰ্ডাৰ="left_right" এ ট্ৰু ঘূৰাই দিলে। এটা মেচিন, এটা ৰান, এটা জইন আকৃতি।
• আউট-অফ-কোৰ স্পিলিং স্বাভাৱিকভাৱে অন থাকে: ই RAM ৰ প্ৰায় ৮০% ত আৰম্ভ হয়, এটা ৬৪ GB ডিফল্ট ডিস্ক বাজেটৰ সৈতে। আউট-অফ-কোৰ জইন আৰু গ্ৰুপ_বাই ৰোডমেপত আছে।
• collect_schema() এ কোনো ডাটা পঢ়াৰ আগতে এটা হেৰুৱা কলম ধৰা পেলায়, কিন্তু এটা কাষ্ট যি এটা মানত বিফল হয় সেয়া collect() তহে বিফল হয়।
• TPC-H আৰু TPC-DS তুলনা বিক্ৰেতাৰ নিজৰ ডিৰাইভড ডাটাৰ ওপৰত কৰা ৰান, আৰু ইয়াৰ ফুটনোটত কৈছে যে ফলাফলবোৰ অফিচিয়েল বেঞ্চমাৰ্কৰ সৈতে তুলনীয় নহয়।

অনূদিত ট্ৰান্সক্ৰিপ্ট

মূল ইংৰাজী বৰ্ণনাৰ পৰা অনুবাদ কৰা হৈছে। উপলব্ধ অডিঅ’ আৰু কেপচন ইউটিউবে নিয়ন্ত্ৰণ কৰে।

ডিফল্ট ক্ৰম কিয় সলনি হ'ল?

0:00 আপুনি ভাবে যে এটা জইনে আপোনাৰ শাৰীবোৰ সেই ক্ৰমত ঘূৰাই দিয়ে যিদৰে আপুনি সেয়া লিখিছিল। প'লাৰ্ছ ২.০ এ স্বাভাৱিকভাৱে, উদ্দেশ্যপ্ৰণোদিতভাৱে সেই প্ৰতিজ্ঞা কৰা বন্ধ কৰি দিলে। এই ভিডিঅ'ত: ডিফল্ট কিয় সলনি হ'ল? ই কি লাভ কৰিলে? আৰু আপোনাৰ কোনটো স্ক্ৰিপ্ট প্ৰথমে ভংগ হ'ব? এইটো The Daily Diff, আন্ডাৰ দ্য হুড। প'লাৰ্ছ এটা অপেন-চৌৰ্চ ডেটাফ্ৰেম লাইব্ৰেৰী: এটা টেবুল ইঞ্জিন যি আপুনি পাইথনৰ পৰা কল কৰে,

0:20 ইয়াৰ কোৰ ৰাষ্টত লিখা হৈছে। এইটো MIT অনুজ্ঞাপত্ৰৰ অধীনত বিনামূলীয়া, আৰু আপুনি ইয়াক pip install polars ৰ সৈতে ইনষ্টল কৰে। এটা সৰু কথা প্ৰথমে। পুৰণি ক্ৰম ঘূৰাই অনা চুইচটো জইনটোৰ এটা আৰ্গুমেন্ট। মই শেষত ইয়ালৈ ঘূৰি আহিম। ২.০ ৰ পৰা, collect এ স্বাভাৱিকভাৱে ষ্ট্ৰিমিং ইঞ্জিন চলায়। ষ্ট্ৰিমিঙে কুৱেৰীটোক খণ্ডবোৰত বিভক্ত কৰে যিবোৰ সমান্তৰালভাৱে চলে, আৰু খণ্ডবোৰ যেতিয়া শেষ হয় তেতিয়াই শেষ হয়।

0:42 জইন, গ্ৰুপ বাই আৰু আনপিভটৰ বাবে, এই সংস্কৰণে এটা ক্ৰমৰ প্ৰতিশ্ৰুতি নিদিয়ে। কোনে প্ৰথমে আঘাত পাব? যিয়েই আউটপুট এটা সংৰক্ষিত ফাইলৰ সৈতে শাৰীয়ে শাৰী তুলনা কৰে। সেই পৰীক্ষা আপোনাৰ লেপটপত পাছ হ'ব পাৰে আৰু বেলেগ এটা মেচিনত বিফল হ'ব পাৰে। তাৰ পিছত, মাইগ্ৰেচন গাইড।

মাইগ্ৰেচন গাইডে কি প্ৰতিজ্ঞা কৰে?

0:57 ইয়াত কৈছে যে ওপৰত দেখুওৱা সঠিক শাৰীৰ ক্ৰমৰ নিশ্চয়তা নাই। সেয়েহে যদি আপুনি ক্ৰমৰ ওপৰত নিৰ্ভৰ কৰে, তেন্তে স্পষ্টভাৱে চৰ্ট কৰক। আউট-অফ-কোৰো স্বাভাৱিকভাৱে অন থাকে। ই RAM ৰ প্ৰায় আশী শতাংশত ডিস্কলৈ স্পিলিং আৰম্ভ কৰে, একষষ্টিশ গিগাবাইট বাজেটৰ সৈতে। চৰ্ট, উইণ্ডো ফাংচন আৰু বহুতো এক্সপ্ৰেচন এতিয়া স্পিল হ'ব পাৰে। জইন আৰু গ্ৰুপ-বাই আহি আছে।

বেঞ্চমাৰ্কটো এটা নিৰপেক্ষ যুঁজ নে?

1:17 প'লাৰ্ছে কয় যে ই TPC-H আৰু TPC-DS বেঞ্চমাৰ্কত DataFusion আৰু DuckDB ক হৰুৱায়। সংখ্যাবোৰ তেওঁলোকৰ নিজৰ ৰানৰ পৰা আহে, ডিৰাইভড ডাটাৰ ওপৰত, আৰু তেওঁলোকৰ ফুটনোটত কৈছে যে সেয়া অফিচিয়েল ফলাফলৰ সৈতে তুলনীয় নহয়। তেওঁলোকৰ নিজৰ সংখ্যাই কয় যে প'লাৰ্ছে TPC-H ত ষোল্লটা কোৰৰ পৰা একশ বিৰান্নব্বৈলৈ প্ৰায় তিনি দশমিক আঠ গুণ বেছি দ্ৰুত হয়। তেওঁলোকে এইটোও কয় যে ডাঙৰ মেচিনৰ অতিৰিক্ত থ্ৰেডে সৰু কুৱেৰীবোৰ লেহেমীয়া কৰে। আমি Polars 2.0.0 ত একেটা জইন দুবাৰ চলাইছিলোঁ।

আমি ইয়াক চলাওঁতে কি দেখো?

1:41 ডিফল্ট ৰানে শাৰীবোৰ চাফেল কৰে। ফ্লেগৰ সৈতে, ইনপুট ক্ৰমটো জীয়াই থাকে। এটা পৰীক্ষা ফীড কৰা জইনবোৰ বিচাৰক। তাৰ পিছত চৰ্ট নোহোৱা যিকোনো জইন এটা শাৰীৰ ক্ৰমৰ সিদ্ধান্ত যি আপুনি কেতিয়াও লোৱা নাছিল। প'লাৰ্ছ ২.০ এ প্ৰকাৰবোৰৰ বিষয়ে অধিক কঠোৰ। স্কিমা চেকটোৱে কোনো ডাটা পঢ়াৰ আগতে এটা হেৰুৱা কলম ধৰা পেলায়।

কঠোৰ মানে আগতীয়া নে?

1:58 ই এটা কাষ্ট ধৰা পেলাব নোৱাৰে যি এটা শাৰীত বিফল হয়, কিয়নো সেই ত্ৰুটিটো ডাটাৰ বাবে অপেক্ষা কৰে। এতিয়া মই খোলা লুপটো। চুইচটো জইনটোত থাকে।

মই পুৰণি ক্ৰমটো কেনেকৈ ঘূৰাই পাম?

2:08 জইনটোত maintain order ছেট কৰক, বা ইয়াৰ পিছত এটা চৰ্ট যোগ কৰক। গাইডটোৱে চৰ্টটোৰ পৰামৰ্শ দিয়ে। জইন ফ্লেগটোৱে আমাৰ ৰানত ক্ৰমটো ৰাখিছিল, বাওঁফালৰ ক্ৰমটো বাওঁ, সোঁ হিচাপে ৰখা হৈছিল। রায়, আন্ডাৰ দ্য হুড: NEEDS REVIEW। আপগ্ৰেড কৰাৰ আগতে মই প্ৰতিটো জইন ৰিভিউ কৰিম।

রায় কি?

2:22 ইয়াৰ বিষয়ে কিবা প্ৰশ্ন আছে নেকি? ইয়াক কমেণ্টত দিয়ক। আৰু এইটোৱেই আজিৰ বাবে diff। মই Axrisi ৰ পৰা Niko। দায়িত্বশীলভাৱে মাৰ্জ কৰক। দায়িত্বশীলভাৱে মাৰ্জ কৰক।

উৎসসমূহ

1. Release of Polars 2.0Polars (pola.rs)
2. Polars 2.0 upgrade guidePolars documentation
3. Polars homepagePolars (pola.rs)
4. polars-2.0-benchmark repositoryPolars on GitHub
5. Release of Polars 2.0 (Hacker News discussion)Hacker News