Apple MLX ડિસ્ટ્રિબ્યુટેડ અનુમાન: મોડેલ ક્ષમતા, ઝડપ અને વિશ્વાસની સીમાઓ

આ વીડિયોમાં શું આવરી લેવામાં આવ્યું છે

• મોડેલ વજન અને અનુમાન વર્કસ્પેસ બંને મેમરી વાપરે છે; એકલા મોડેલના વજનનું કદ જરૂરી ક્ષમતાને ઓછો આંકી શકે છે.
• પાઇપલાઇન સમાંતરતા અનુગામી સ્તરોનું વિતરણ કરે છે, જ્યારે ટેન્સર સમાંતરતા દરેક સ્તરની અંદરના કાર્યને વિભાજિત કરે છે અને વારંવાર ઓછી વિલંબતાવાળા સંચારની જરૂર પડે છે.
• Apple ચાર M5 અલ્ટ્રા Mac Studio પર 8,192-ટોકન સંદર્ભ સાથે પ્રતિ સેકન્ડ 36 થી વધુ ટોકન્સની જાણ કરે છે; કેબલ સરખામણી 65,536-ટોકન સંદર્ભમાં પ્રથમ-ટોકન રાહ જોવાની ચિંતા કરે છે.
• મર્કોરનું 90% કાર્યકારી-કલાકોનું તારણ તેના પસંદ કરેલા બેન્ચમાર્ક સૂચકાંકમાં ઓછું અથવા કોઈ કવરેજ દર્શાવે છે. તે 90% મોડેલ નિષ્ફળતા દર સ્થાપિત કરતું નથી.
• OpenCodeની સંપાદિત સૂચના બાહ્ય પ્રદાતાઓ સાથે જોડાયેલા કન્સોલ વપરાશકર્તાઓના ઉપગણનું વર્ણન કરે છે. જાહેર સૂચના દરેક સ્થાનિક ઇન્સ્ટોલેશનના સમાધાનને સ્થાપિત કરતી નથી.
• સ્થાનિક મોડેલ સેટઅપને સંપૂર્ણ ગોપનીયતા અથવા ખર્ચ ઉકેલ તરીકે ગણતા પહેલા તમારા વાસ્તવિક વર્કલોડનું પરીક્ષણ કરો અને ઓળખપત્ર-ધારક સેવાઓની સમીક્ષા કરો.

અનુવાદિત ટ્રાન્સક્રિપ્ટ

મૂળ અંગ્રેજી કથામાંથી અનુવાદિત. ઉપલબ્ધ ઑડિઓ અને કૅપ્શન્સ YouTube દ્વારા નિયંત્રિત થાય છે.

શા માટે બે મેક સમાન ગતિ રાખી શકે છે?

0:00 તમે અપેક્ષા રાખશો કે બે મેક તમારી AI ને બમણી ઝડપી બનાવશે. Apple ના પોતાના પરીક્ષણો દર્શાવે છે કે જનરેશન સ્પીડ લગભગ યથાવત રહી શકે છે. આ વીડિયોમાં, ચાર મેક શું ખરીદે છે? બેન્ચમાર્ક્સ શું ચૂકી જાય છે? એક કોડિંગ ટૂલ હાર્ડવેરને રાતોરાત ભંગ સાથે જોડે છે. અમે તેના પર પાછા આવીશું. શનિવાર, સત્તર ઑક્ટોબર માટે, આ છે The Daily Diff. MLX એ Apple ના સિલિકોન પર મશીન લર્નિંગ માટે Appleનું ઓપન સોર્સ એરે ફ્રેમવર્ક છે.

0:22 તેનો નવો ટેસ્ટ ચાર Mac Studio પર મેટાનું Muse Spark Open ચલાવે છે. તે યુનિફાઇડ મેમરીનો ઉપયોગ કરે છે, જે CPU અને GPU શેર કરે છે. Apple એ આ ઑક્ટોબર પંદરમીએ પ્રકાશિત કર્યું. મર્કોરે AI બેન્ચમાર્ક્સ ભાગ્યે જ માપે છે તે કાર્યનું મેપિંગ કર્યું. અમે ઑક્ટોબર સત્તરમી આવૃત્તિને આવરી રહ્યા છીએ, જેમાં OpenCode કન્સોલ વિશે રાતોરાત ઑક્ટોબર અઢારમી અપડેટ છે. અસુવિધાજનક ભાગથી શરૂઆત કરો.

શા માટે મોડેલને એક કરતાં વધુ મેકની જરૂર છે?

0:41 Apple ના Muse Spark Open ટેસ્ટમાં માત્ર ચાર બીટ મોડેલ માટે લગભગ પાંચસો ગીગાબાઇટ્સનો ઉપયોગ થાય છે. એક Mac Studio પાંચસો બાર ગીગાબાઇટ્સ પર ટોચ પર છે, અને અનુમાનને પણ કાર્યકારી મેમરીની જરૂર પડે છે. તમે એક પણ મોજાં પેક કરો તે પહેલાં વજન લગભગ સૂટકેસ ભરી દે છે. વધુ મશીનો મોડેલને ફિટ બનાવે છે. પાઇપલાઇન સમાંતરતા મોડેલને તેના સ્તરોમાંથી કાપે છે. Mac A અગાઉના સ્તરો કરે છે, પછી મધ્યવર્તી પરિણામ Mac B ને પછીના સ્તરો માટે આપે છે. એક જનરેટ થયેલા ટોકન માટે, તે પગલાં હજી પણ ક્રમમાં થાય છે. Apple ના માપન દર્શાવે છે કે ડીકોડ સ્પીડ એક મશીન જેવી જ રહે છે.

1:05 તમે બીજા રસોઈયાને રાખ્યા છે, અને તેમને સમાન સેન્ડવિચ આપી છે. Hacker News પર, એક વિકાસકર્તાએ પ્રશ્ન કર્યો કે Apple ના કોષ્ટકે Qwen મોડેલની મૂળભૂત ચોકસાઈ સાથે ચાર-બીટ મેટા મોડેલનો ઉપયોગ શા માટે કર્યો. Apple નું કોષ્ટક ફોર્મેટ્સ જણાવે છે, તેથી ખરીદી કરતા પહેલા ફૂટનોટ્સ વાંચો. સ્લાઇડ ડેક બેન્ચમાર્ક્સ અપ્રતિરોધિત રહે છે. ટેન્સર સમાંતરતા તેના બદલે દરેક સ્તરમાંથી પસાર થાય છે. બહુવિધ Macs એકસાથે સમાન સ્તરના ટુકડાઓ પર કામ કરે છે, પછી તેમના પરિણામોને જોડે છે. તે જનરેશનને વેગ આપી શકે છે, પરંતુ મશીનો વારંવાર સંચાર કરે છે. Apple થંડરબોલ્ટ પર ઓછી વિલંબતાવાળા રિમોટ મેમરી એક્સેસનો ઉપયોગ કરે છે.

1:29 કેબલ માટે એક બોલ્ડ કારકિર્દીનો નિર્ણય.

થંડરબોલ્ટ Macs ને એકસાથે કામ કરવામાં કેવી રીતે મદદ કરે છે?

1:32 હેડલાઇન પરિણામ ચાર M5 અલ્ટ્રા Mac Studio માંથી પ્રતિ સેકન્ડ છત્રીસથી વધુ ટોકન્સ છે, જેમાં લગભગ આઠ હજાર ટોકન્સનો સંદર્ભ છે. Apple એ પોતે તેનું માપન કર્યું. લાંબા પ્રોમ્પ્ટ્સ વાર્તા બદલી નાખે છે. એક મોટા સંદર્ભ પરીક્ષણમાં, દરેક લિંક દીઠ બે કેબલે પ્રથમ ટોકન માટેની રાહ લગભગ દસ સેકન્ડ ઘટાડી. સ્થાનિક મોડેલ તમને પ્રોમ્પ્ટ્સની આસપાસ એક ઉપયોગી સીમા આપે છે, જો તમારું વાસ્તવિક સેટઅપ તેમને સ્થાનિક રાખે તો. Apple એ હોસ્ટેડ APIs સામે સાર્વત્રિક બ્રેક ઇવન કિંમત પૂરી પાડી નથી. તે ઉપયોગ અને તમને જરૂરી મોડેલ પર આધાર રાખે છે. પ્રાસંગિક પ્રશ્નોના જવાબ આપતું મશીન ખૂબ મોંઘા ડેસ્ક ઓર્નામેન્ટ તરીકે પુષ્કળ સમય વિતાવે છે.

1:55 તે મોડેલ પસંદ કરવા માટે તમારા કાર્ય માટે એક પરીક્ષણ જરૂરી છે. મર્કોરે ઓગણત્રીસ બેન્ચમાર્ક્સને અમેરિકન જોબ ટેક્સોનોમી પર મેપ કર્યા. તેનો સૂચકાંક લગભગ ઓગણીસ હજારમાંથી આશરે નવસો કાર્યોને આવરી લે છે. નકશો અંદાજ આપે છે કે 90% કાર્યકારી કલાકોમાં બેન્ચમાર્ક કવરેજ ઓછું અથવા કોઈ નથી. તે પરીક્ષાના પેપર પર એક વિશાળ ખાલી જગ્યા છે. મર્કોરનો નકશો કવરેજ માપે છે. ખાલી વ્યવસાયમાં ભાગ્યે જ પરીક્ષણ કરાયેલા કાર્યો હોય છે; મોડેલ ક્ષમતા એક ખુલ્લો પ્રશ્ન રહે છે. મેપિંગે AI મોડેલનો ઉપયોગ કર્યો, જેમાં મર્કોરના પોતાના બેન્ચમાર્ક પ્રોમ્પ્ટ્સના ઉપગણ પર માનવ સમીક્ષા કરવામાં આવી. સમીક્ષકોએ તેની પ્રથમ પસંદગીઓના આશરે ત્રણ ચતુર્થાંશ સ્વીકારી.

2:17 ગ્રેડિંગ સિસ્ટમને તેની પોતાની ગ્રેડિંગ સિસ્ટમની જરૂર છે, સ્વાભાવિક રીતે. તેથી જો તમે તમારી નોકરી વિશે ચિંતિત છો, તો લીડરબોર્ડ દલીલને સમાધાન કરી શકતું નથી.

AI બેન્ચમાર્ક્સ ખરેખર કયું કામ કવર કરે છે?

2:21 જો તમે કોડિંગ સહાયક ખરીદી રહ્યા છો, તો તમારી પોતાની સ્વીકૃતિ તપાસ સાથે વાસ્તવિક કાર્યને ફરીથી ચલાવો. ઉપયોગી કાર્યમાં ડેમો પછીના અણઘડ બીટ્સ શામેલ છે. ચેટબોટે ખોટી સ્પ્રેડશીટ આત્મવિશ્વાસથી પૂરી કરી હોવાથી કોઈને પ્રમોશન મળતું નથી. જે આપણને રાતોરાત અપડેટ પર લાવે છે. OpenCode કહે છે કે સુરક્ષા ભંગથી 1.4% કન્સોલ વપરાશકર્તાઓને અસર થઈ. તેની સંપાદિત સૂચના તેને બાહ્ય પ્રદાતાઓ સાથે જોડાયેલા ઉપગણ સુધી સંકુચિત કરે છે, અને કહે છે કે અસરગ્રસ્ત વપરાશકર્તાઓને ઇમેઇલ કરવામાં આવ્યા હતા. તે આને મોટા પાયે ડિસ્ટિલેશન હુમલો કહે છે, અને કહે છે કે ઘટના ચાલુ છે. જાહેર મૂળ કારણ હજુ આવ્યું નથી.

2:49 જવાબોમાં લોકો ગુમ થયેલા પ્રદાતા ક્રેડિટની જાણ કરે છે, જે ઘટનાઓનું તેમનું એકાઉન્ટ છે. સૂચના દરેક વ્યક્તિના નુકસાન અથવા વળતરને સ્થાપિત કરતી નથી. Apple એ હમણાં જ દર્શાવ્યું હતું કે OpenCode ને સ્થાનિક અનુમાન સાથે કેવી રીતે કનેક્ટ કરવું, અને હવે તેનું નામ સુરક્ષા ચેતવણીની બાજુમાં છે. ઉત્પાદન નામ અનેક જુદી જુદી વિશ્વાસ સીમાઓને આવરી લે છે. કન્સોલ વપરાશકર્તાઓએ સત્તાવાર સૂચના વાંચવી જોઈએ અને પ્રદાતાના ઉપયોગની તપાસ કરવી જોઈએ. જો તમને અસર થઈ હોય, તો સુધારણા સૂચનાઓનું પાલન કરો અને કનેક્ટેડ ઓળખપત્રોની સમીક્ષા કરો. આ સૂચના આપણને એક ચોક્કસ હોસ્ટેડ કન્સોલ સ્કોપ આપે છે.

OpenCode કોને રાતોરાત અસર થઈ હોવાનું કહે છે?

3:13 તે અહીં દરેક સ્થાનિક ઇન્સ્ટોલેશનમાં સમાધાનનો કોઈ પુરાવો આપતું નથી. અહીં જોડાણ છે. Apple નો લેખ OpenCode ને તેના સ્થાનિક મોડેલ સર્વર માટે ક્લાયન્ટ તરીકે નામ આપે છે. એ જ કોડિંગ ઇન્ટરફેસ ખૂબ જ અલગ ઇન્ફ્રાસ્ટ્રક્ચરની સામે બેસી શકે છે. તે ચાર Macs શું ખરીદે છે તેનો જવાબ આપે છે. ક્ષમતા, અને એક અનુમાન સીમા જે તમે સંચાલિત કરી શકો છો. તે સીમાની આસપાસની સેવાઓ હજુ પણ તેમની પોતાની સમીક્ષાને પાત્ર છે. મારો ખરીદીનો નિયમ સરળ છે.

3:38 મોડેલ ફિટ છે તે સાબિત કરો, સંપૂર્ણ કાર્ય માપો, અને ઓળખપત્ર ધરાવતી દરેક સેવા તપાસો. Apple નું પરિણામ મોટા સ્થાનિક અનુમાનને વધુ વ્યવહારુ બનાવે છે, જ્યારે પાઇપલાઇન ટેસ્ટ સમજાવે છે કે હાર્ડવેર ઉમેરવાથી નિરાશા કેમ થઈ શકે છે. તમારું સ્વીકૃતિ પરીક્ષણ ખરીદી ઓર્ડરની બાજુમાં હોવું જોઈએ. જો તમે મને આ કહેવાને બદલે વાંચવાનું પસંદ કરો છો, તો ડિફ દરેક સવારે તમારા ઇનબોક્સમાં આવે છે, thedailydiff.dev પર મફત, લિંક નીચે આપેલી છે. તો આજનો ચુકાદો NEEDS REVIEW છે. ક્લસ્ટર ખરીદતા પહેલા હું મારા વાસ્તવિક વર્કલોડને માપીશ. સબ્સ્ક્રાઇબ કરો, બેલ દબાવો, અને ટિપ્પણીઓમાં મને કહો કે તમે તેને અલગ રીતે સ્ટેમ્પ કર્યું હોત કે નહીં.

સ્થાનિક અનુમાન તમારા નિયંત્રણમાં શું મૂકે છે?

4:02 અને આજ માટે આ જ ડિફ છે. હું Axrisi માંથી નિકો છું. જવાબદારીપૂર્વક મર્જ કરો. સ્થાનિક મોડેલ તમને પ્રોમ્પ્ટ્સની આસપાસ એક ઉપયોગી સીમા આપે છે, જો તમારું વાસ્તવિક સેટઅપ તેમને સ્થાનિક રાખે તો. Apple એ હોસ્ટેડ APIs સામે સાર્વત્રિક બ્રેક ઇવન કિંમત પૂરી પાડી નથી. તે ઉપયોગ અને તમને જરૂરી મોડેલ પર આધાર રાખે છે. પ્રાસંગિક પ્રશ્નોના જવાબ આપતું મશીન ખૂબ મોંઘા ડેસ્ક ઓર્નામેન્ટ તરીકે પુષ્કળ સમય વિતાવે છે. તે મોડેલ પસંદ કરવા માટે તમારા કાર્ય માટે એક પરીક્ષણ જરૂરી છે.

4:23 મર્કોરે ઓગણત્રીસ બેન્ચમાર્ક્સને અમેરિકન જોબ ટેક્સોનોમી પર મેપ કર્યા. તેનો સૂચકાંક લગભગ ઓગણીસ હજારમાંથી આશરે નવસો કાર્યોને આવરી લે છે. નકશો અંદાજ આપે છે કે 90% કાર્યકારી કલાકોમાં બેન્ચમાર્ક કવરેજ ઓછું અથવા કોઈ નથી. તે પરીક્ષાના પેપર પર એક વિશાળ ખાલી જગ્યા છે. મર્કોરનો નકશો કવરેજ માપે છે. ખાલી વ્યવસાયમાં ભાગ્યે જ પરીક્ષણ કરાયેલા કાર્યો હોય છે; મોડેલ ક્ષમતા એક ખુલ્લો પ્રશ્ન રહે છે.

શું હું ફોર-મેક ક્લસ્ટર ખરીદીશ?

4:40 મેપિંગે AI મોડેલનો ઉપયોગ કર્યો, જેમાં મર્કોરના પોતાના બેન્ચમાર્ક પ્રોમ્પ્ટ્સના ઉપગણ પર માનવ સમીક્ષા કરવામાં આવી. સમીક્ષકોએ તેની પ્રથમ પસંદગીઓના આશરે ત્રણ ચતુર્થાંશ સ્વીકારી. ગ્રેડિંગ સિસ્ટમને તેની પોતાની ગ્રેડિંગ સિસ્ટમની જરૂર છે, સ્વાભાવિક રીતે. તેથી જો તમે તમારી નોકરી વિશે ચિંતિત છો, તો લીડરબોર્ડ દલીલને સમાધાન કરી શકતું નથી. જો તમે કોડિંગ સહાયક ખરીદી રહ્યા છો, તો તમારી પોતાની સ્વીકૃતિ તપાસ સાથે વાસ્તવિક કાર્યને ફરીથી ચલાવો. ઉપયોગી કાર્યમાં ડેમો પછીના અણઘડ બીટ્સ શામેલ છે. કોઈને પ્રમોશન મળતું નથી કારણ કે ચેટબોટે ખોટી સ્પ્રેડશીટ આત્મવિશ્વાસથી પૂરી કરી.

સ્ત્રોતો

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X