ፖላርስ 2.0: ለምን መቀላቀሎች የረድፍ ቅደም ተከተላቸውን አያቆዩም
ፖላርስ 2.0 በነባሪነት በዥረት ሞተር ላይ ይሰበስባል። ለመቀላቀል፣ ለመቧደን እና ለመንቀል፣ ልቀቱ የግብአት ረድፍ ቅደም ተከተልን አያረጋግጥም፣ maintain_order ካላዘጋጁ ወይም በግልጽ ካልደረደሩ በስተቀር። በፖላርስ 2.0.0 ላይ ባደረግነው ሙከራ፣ 2,000,000 ረድፍ የውስጥ መቀላቀል ረድፎችን ከግብአት ቅደም ተከተል ውጪ በነባሪ መልሷል እና maintain_order ሲዘጋጅ ቅደም ተከተሉን ጠብቋል። ልቀቱ ከዋናው ውጭ ያለውን መፍሰስ ያበራል እና የቤንችማርክ የይገባኛል ጥያቄዎችን የሻጩን ያደርገዋል።
ፖላርስ 2.0 በነባሪነት በዥረት ሞተር ላይ ይሰበስባል። ለመቀላቀል፣ ለመቧደን እና ለመንቀል፣ ልቀቱ የግብአት ረድፍ ቅደም ተከተልን አያረጋግጥም፣ maintain_order ካላዘጋጁ ወይም በግልጽ ካልደረደሩ በስተቀር። በፖላርስ 2.0.0 ላይ ባደረግነው ሙከራ፣ 2,000,000 ረድፍ የውስጥ መቀላቀል ረድፎችን ከግብአት ቅደም ተከተል ውጪ በነባሪ መልሷል እና maintain_order ሲዘጋጅ ቅደም ተከተሉን ጠብቋል። ልቀቱ ከዋናው ውጭ ያለውን መፍሰስ ያበራል እና የቤንችማርክ የይገባኛል ጥያቄዎችን የሻጩን ያደርገዋል።
ይህ ቪዲዮ ምን ይሸፍናል
- በዝግተኛ ጥያቄ ላይ collect() መጥራት አሁን በነባሪነት የዥረት ሞተሩን ይጠቀማል፣ ይህም ለመቀላቀል፣ ለመቧደን እና ለመንቀል የረድፍ ቅደም ተከተል ዋስትና አይሰጥም።
- የፍልሰት መመሪያው ቅደም ተከተሉ ከ2.0 በፊት እንደነበረው እንዳልሆነ እና ዋስትና እንደማይሰጥ ይናገራል፤ በእሱ ላይ ከተመኩ ግልጽ የሆነ መደርደር ይመክራል።
- በአፈጻጸማችን፣ ነባሪ የውስጥ መቀላቀል የግብአት ቅደም ተከተል ውሸት መለሰ፤ maintain_order="left_right" በመቀላቀሉ ላይ እውነት መለሰ። አንድ ማሽን፣ አንድ አፈጻጸም፣ አንድ የመቀላቀል ቅርጽ።
- ከዋናው ውጭ ያለ መፍሰስ በነባሪነት በርቷል፦ በግምት 80% ራም ላይ ይጀምራል፣ በ64 ጂቢ ነባሪ የዲስክ በጀት። ከዋናው ውጭ መቀላቀል እና መቧደን በመንገድ ካርታው ላይ ናቸው።
- collect_schema() ምንም ውሂብ ከመነበቡ በፊት የጠፋ አምድ ይይዛል፣ ነገር ግን በአንድ እሴት ላይ ብቻ የማይሳካ ቀረጻ የሚሳካው በ collect() ላይ ብቻ ነው።
- የTPC-H እና TPC-DS ንጽጽር የሻጩ በራሱ በተገኘ ውሂብ ላይ ያደረገው ሙከራ ነው፣ እና የግርጌ ማስታወሻው ውጤቶቹ ከኦፊሴላዊ የቤንችማርኮች ጋር ሲነጻጸሩ ተመሳሳይ እንዳልሆኑ ይናገራል።
ጥያቄዎች እና መልሶች
የፖላርስ 2.0 መቀላቀሎች ረድፎችን በግቤት ቅደም ተከተል ማቆየት ያቆሙት ለምንድን ነው?
በሰነፍ መጠይቅ ላይ ስብስብን መጥራት አሁን የዥረት ሞተሩን በነባሪነት ይጠቀማል። ዥረት መጠይቁን በትይዩ በሚሰሩ ቁርጥራጮች ይከፋፍላል፣ እና ቁርጥራጮቹ ሲጠናቀቁ ይጨርሳሉ። ለመቀላቀል፣ ለቡድን_በ እና ላልተመሰረቱ፣ መልቀቂያው ስለዚህ የውጤት ረድፍ ቅደም ተከተል አይሰጥም። ውጤቱን ከተቀመጠ ፋይል ጋር ረድፍ በረድፍ የሚያነፃፅሩ ሙከራዎች መጀመሪያ የመሰበር ዕድላቸው ከፍተኛ ነው።
ወደ ፖላርስ 2.0 ካሻሻልኩ በኋላ የድሮውን ረድፍ ቅደም ተከተል እንዴት መልሼ ማግኘት እችላለሁ?
ከመቀላቀሉ በኋላ ግልጽ የሆነ መደርደር ያክሉ፣ ይህም የፍልሰት መመሪያው የሚመክረው ነው፣ ወይም በመቀላቀሉ ላይ የ maintain_order ክርክርን ያዘጋጁ። በፖላርስ 2.0.0 ላይ በተደረገው የትዕይንት ክፍል፣ ነባሪ የውስጥ መቀላቀል ረድፎችን ከግቤት ቅደም ተከተል ውጪ መልሷል፣ maintain_order ወደ ግራ_ቀኝ ሲዋቀር ቅደም ተከተሉን ጠብቋል። ያ አንድ ማሽን፣ አንድ ሩጫ እና አንድ የመቀላቀል ቅርፅ ነበር።
ፖላርስ 2.0 ከማህደረ ትውስታ በላይ የሆነ ውሂብ ማካሄድ ይችላል?
በከፊል። ከዋና ውጪ መፍሰስ በነባሪነት በርቷል፣ ከ64 ጂቢ ነባሪ የዲስክ በጀት ጋር ከ80% RAM አካባቢ ይጀምራል። መደርደር፣ የመስኮት ተግባራት እና ብዙ መግለጫዎች አሁን ሊፈሱ ይችላሉ። ከዋና ውጪ መቀላቀሎች እና የቡድን-በሮች በመንገድ ካርታ ላይ ናቸው፣ ስለዚህ እነዚያ ክዋኔዎች ገና አይፈሱም።
የፖላርስ 2.0 መመዘኛ ንፅፅሮችን ከ DuckDB እና DataFusion ጋር ማመን እችላለሁ?
የሻጩ የራሱ የይገባኛል ጥያቄዎች አድርገው ይቁጠሯቸው። ፖላርስ DataFusionን እና DuckDBን በTPC-H እና TPC-DS ላይ እንደሚያሸንፍ ይናገራል፣ ነገር ግን ቁጥሮቹ የሚመጡት በራሱ በተገኘው መረጃ ላይ ከሚደረጉ ሩጫዎች ነው፣ እና የግርጌ ማስታወሻው ውጤቶቹ ከኦፊሴላዊ መመዘኛዎች ጋር ሊወዳደሩ እንደማይችሉ ይናገራል። ፖላርስ ትልቁ ማሽን ተጨማሪ ክሮች ትናንሽ መጠይቆችን እንደሚያዘገዩም ይናገራል።
አሁን ያሉትን የፖላርስ የቧንቧ መስመሮች ወደ ስሪት 2.0 ማሻሻል ደህንነቱ የተጠበቀ ነው?
የ Daily Diff ፍርድ NEEDS REVIEW ነበር። ትዕይንቱ ከማሻሻልዎ በፊት እያንዳንዱን መቀላቀል ይገመግማል፣ ምክንያቱም ከሱ በኋላ መደርደር የሌለው ማንኛውም መቀላቀል ያልተወሰነ ረድፍ ቅደም ተከተል ውሳኔ ነው። ጥብቅ የትየባ መረጃ ከመነበቡ በፊት የጎደለውን አምድ ስለሚይዝ ትንሽ ይረዳል፣ ነገር ግን በአንድ ረድፍ ላይ የማይሳካ ውርወራ የሚከሽፈው በመሰብሰብ ላይ ብቻ ነው።
የተተረጎመ ግልባጭ
ከዋናው የእንግሊዝኛ ትረካ የተተረጎመ። የሚገኙ ኦዲዮ እና መግለጫ ጽሑፎች በYouTube ቁጥጥር ስር ናቸው።
ነባሪው ቅደም ተከተል ለምን ተለወጠ?
0:00 መቀላቀል ረድፎችዎን በጻፉበት ቅደም ተከተል እንደሚመልስዎት ያስባሉ። ፖላርስ 2.0 ያንን ቃል መግባቱን በነባሪነት፣ ሆን ብሎ አቆመ። በዚህ ቪዲዮ ውስጥ፦ ነባሪው ለምን ተለወጠ? ምን አተረፈ? እና የትኛው ስክሪፕትዎ መጀመሪያ ይበላሻል? ይህ ዘ ዴይሊ ዲፍ ነው፣ ከጀርባው ያለው። ፖላርስ ክፍት ምንጭ የሆነ የዳታ ፍሬም ቤተ-መጽሐፍት ነው፦ ከፓይዘን የሚጠሩት የሰንጠረዥ ሞተር፣
0:20 ዋናው በረስት የተጻፈ ነው። በMIT ፈቃድ ስር ነፃ ነው፣ እና በ pip install polars ይጭኑታል። አንድ ዝርዝር ነገር መጀመሪያ። የድሮውን ቅደም ተከተል የሚያመጣው መቀየሪያ ከራሱ መቀላቀል ጋር የሚሄድ ክርክር ነው። በመጨረሻው ላይ ወደሱ እመለሳለሁ። ከ2.0 ጀምሮ collect በነባሪነት የዥረት ሞተሩን ያንቀሳቅሳል። ዥረት ጥያቄውን ወደ ትናንሽ ክፍሎች ይከፍላል፣ እነሱም በትይዩ ይሰራሉ፣ እና ክፍሎቹ ሲያልቅ ያልቃሉ።
0:42 ለመቀላቀል፣ ለመቧደን እና ለመንቀል፣ ልቀቱ ቅደም ተከተልን ቃል አይገባም። ማን መጀመሪያ ይጎዳል? ውጤቱን ከተቀመጠ ፋይል ጋር የሚያነጻጽር ማንኛውም ሰው፣ ረድፍ በረድፍ። ያ ሙከራ በላፕቶፕዎ ላይ ማለፍ ይችላል እና በተለየ ማሽን ላይ ሊከሽፍ ይችላል። ቀጥሎ፣ የፍልሰት መመሪያው።
የፍልሰት መመሪያው ምን ቃል ይገባል?
0:57 ከላይ የሚታየው ትክክለኛው የረድፍ ቅደም ተከተል ዋስትና እንደማይሰጥ ይናገራል። ስለዚህ በቅደም ተከተሉ ላይ ከተመኩ፣ በግልጽ ደርድር። ከዋናው ውጭ ያለውም በነባሪነት በርቷል። በግምት ሰማንያ በመቶ ራም ላይ ወደ ዲስክ መፍሰስ ይጀምራል፣ በስልሳ አራት ጊጋባይት በጀት። መደርደር፣ የመስኮት ተግባራት እና ብዙ መግለጫዎች አሁን ሊፈሱ ይችላሉ። መቀላቀሎች እና መቧደኖች እየመጡ ነው።
ቤንችማርኩ ፍትሃዊ ትግል ነው?
1:17 ፖላርስ የTPC-H እና TPC-DS ቤንችማርኮች ላይ ዳታ ፊውዥን እና ዳክዲቢን እንደሚያሸንፍ ይናገራል። ቁጥሮቹ ከራሳቸው አፈጻጸም የመጡ ናቸው፣ በተገኘ ውሂብ ላይ፣ እና የግርጌ ማስታወሻቸው ከኦፊሴላዊ ውጤቶች ጋር ሲነጻጸሩ ተመሳሳይ እንዳልሆኑ ይናገራል። የራሳቸው ቁጥሮች ፖላርስ ከ አስራ ስድስት ኮሮች ወደ መቶ ዘጠና ሁለት፣ በTPC-H ላይ በግምት ሶስት ነጥብ ስምንት ጊዜ እንደሚፈጥን ይናገራሉ። ትልቁ ማሽን ተጨማሪ ክሮች ትናንሽ ጥያቄዎችን እንደሚያቀዘቅዙም ይናገራሉ።
ስታስኬደው ምን እናያለን?
1:41 በፖላርስ 2.0.0 ላይ ተመሳሳይውን መቀላቀል ሁለት ጊዜ አከናወንን። ነባሪው አፈጻጸም ረድፎችን ይደባልቃል። በምልክቱ፣ የግብአት ቅደም ተከተሉ ይቀጥላል። ሙከራን የሚመገቡትን መቀላቀሎች ያግኙ። በኋላው መደርደር የሌለው ማንኛውም መቀላቀል በፍጹም ያላደረጉት የረድፍ ቅደም ተከተል ውሳኔ ነው። ፖላርስ 2.0 ስለ አይነቶች የበለጠ ጥብቅ ነው።
ጥብቅ ማለት ቀደም ብሎ ማለት ነው?
1:58 የስኪማ ምርመራው ምንም ውሂብ ከመነበቡ በፊት የጠፋ አምድ ይይዛል። በአንድ ረድፍ ላይ የማይሳካ ቀረጻን መያዝ አይችልም፣ ምክንያቱም ያ ስህተት ለ ውሂብ ስለሚጠብቅ ነው። አሁን የከፈትኩት ሉፕ።
የድሮውን ቅደም ተከተል እንዴት መልሼ አገኛለሁ?
2:08 መቀየሪያው በመቀላቀሉ ላይ ይኖራል። በመቀላቀሉ ላይ maintain orderን ያዘጋጁ፣ ወይም ከሱ በኋላ መደርደርን ያክሉ። መመሪያው መደርደርን ይጠቁማል። የመቀላቀያው ባንዲራ በአፈጻጸማችን ቅደም ተከተሉን ጠብቋል፣ የግራ በኩል ያለው ቅደም ተከተል እንደ ግራ፣ ቀኝ ተጠብቋል። ፍርድ፣ ከጀርባው ያለው፦ NEEDS REVIEW።
የፍርዱ ውጤት ምንድነው?
2:22 ከማዘመን በፊት እያንዳንዱን መቀላቀል እገመግም ነበር። ስለዚህ ጥያቄ አለዎት? በአስተያየቶቹ ውስጥ ያስቀምጡት። እና ያ የዛሬው ልዩነት ነው። እኔ ኒኮ ከ Axrisi ነኝ። በኃላፊነት ያዋህዱ።
ምንጮች
- Release of Polars 2.0Polars (pola.rs)
- Polars 2.0 upgrade guidePolars documentation
- Polars homepagePolars (pola.rs)
- polars-2.0-benchmark repositoryPolars on GitHub
- Release of Polars 2.0 (Hacker News discussion)Hacker News



