ஆப்பிள் MLX விநியோகிக்கப்பட்ட ஊகம்: மாதிரித் திறன், வேகம் மற்றும் நம்பிக்கை வரம்புகள்

இந்த வீடியோ எதைப் பற்றி விவாதிக்கிறது

• மாதிரி எடைகள் மற்றும் ஊகப் பணிச்சூழல் இரண்டும் நினைவகத்தை நுகரும்; ஒரு மாதிரியின் எடை தடயக் குறிப்பு மட்டும் தேவையான திறனை குறைவாக மதிப்பிடலாம்.
• குழாய் இணைகள் தொடர்ச்சியான அடுக்குகளை விநியோகிக்கின்றன, அதே நேரத்தில் டென்சர் இணைகள் ஒவ்வொரு அடுக்குக்குள்ளும் வேலையைப் பிரித்து, அடிக்கடி குறைந்த தாமதத் தொடர்புக்கு தேவைப்படுகிறது.
• ஆப்பிள் நான்கு M5 அல்ட்ரா மேக் ஸ்டுடியோக்களில் வினாடிக்கு 36 டோக்கன்களுக்கு மேல், 8,192 டோக்கன் சூழலுடன் அறிக்கையிடுகிறது; கேபிள் ஒப்பீடு 65,536 டோக்கன் சூழலில் முதல் டோக்கன் காத்திருப்பு பற்றியது.
• மெர்கரின் 90% வேலை நேரம் குறித்த கண்டுபிடிப்பு, அதன் தேர்ந்தெடுக்கப்பட்ட அளவுகோல் குறியீட்டில் குறைந்த அல்லது கவரேஜ் இல்லை என்பதைக் காட்டுகிறது. இது 90% மாதிரி தோல்வி விகிதத்தை நிறுவவில்லை.
• OpenCode இன் திருத்தப்பட்ட அறிவிப்பு இணைக்கப்பட்ட வெளி வழங்குநர்களுடன் கன்சோல் பயனர்களின் துணைக்குழுவை விவரிக்கிறது. பொது அறிவிப்பு ஒவ்வொரு உள்ளூர் நிறுவலின் சமரசத்தையும் நிறுவவில்லை.
• ஒரு உள்ளூர் மாதிரி அமைப்பை முழுமையான தனியுரிமை அல்லது செலவு தீர்வாகக் கருதுவதற்கு முன் உங்கள் உண்மையான பணிச்சுமையைச் சோதித்து, சான்றுகள் கொண்ட சேவைகளை மதிப்பாய்வு செய்யவும்.

மொழிபெயர்க்கப்பட்ட டிரான்ஸ்கிரிப்ட்

அசல் ஆங்கில விளக்கத்திலிருந்து மொழிபெயர்க்கப்பட்டது. கிடைக்கும் ஆடியோ மற்றும் தலைப்புகள் YouTube ஆல் கட்டுப்படுத்தப்படுகின்றன.

இரண்டு மேக்ஸ் ஏன் ஒரே வேகத்தில் இருக்க முடியும்?

0:00 இரண்டு மேக்ஸ் உங்கள் AI ஐ இரு மடங்கு வேகமாகச் செய்யும் என்று நீங்கள் எதிர்பார்க்கலாம். ஆப்பிளின் சொந்த சோதனைகள் உருவாக்கும் வேகம் கிட்டத்தட்ட மாறாமல் இருக்க முடியும் என்பதைக் காட்டுகின்றன. இந்த வீடியோவில், நான்கு மேக்ஸ் என்ன வாங்குகிறது? அளவுகோல்கள் எதை தவறவிடுகின்றன? ஒரு குறியீட்டு கருவி வன்பொருளை இரவு முழுவதும் நடந்த மீறலுடன் இணைக்கிறது. நாங்கள் அதற்கு மீண்டும் வருவோம். சனிக்கிழமை, அக்டோபர் பதினேழுக்கு, இது The Daily Diff. MLX என்பது ஆப்பிள் சிலிக்கனில் இயந்திர கற்றலுக்கான ஆப்பிளின் திறந்த மூல வரிசை கட்டமைப்பு.

0:22 அதன் புதிய சோதனை மெட்டாவின் மியூஸ் ஸ்பார்க் ஓபனை நான்கு மேக் ஸ்டுடியோக்களில் இயக்குகிறது. இது CPU மற்றும் GPU பகிரும் ஒருங்கிணைந்த நினைவகத்தைப் பயன்படுத்துகிறது. ஆப்பிள் இதை அக்டோபர் பதினைந்து அன்று வெளியிட்டது. AI அளவுகோல்கள் அரிதாகவே அளவிடும் வேலையை மெர்கர் வரைபடமாக்கியுள்ளது. நாங்கள் அக்டோபர் பதினேழு பதிப்பை, அக்டோபர் பதினெட்டு இரவு முழுவதும் OpenCode கன்சோல் பற்றிய புதுப்பிப்புடன் உள்ளடக்குகிறோம்.

மாதிரிக்கு ஏன் ஒன்றுக்கு மேற்பட்ட மேக் தேவைப்படுகிறது?

0:41 சிரமமான பகுதியுடன் தொடங்குவோம். ஆப்பிளின் மியூஸ் ஸ்பார்க் ஓபன் சோதனைக்கு நான்கு பிட் மாதிரிக்கு சுமார் ஐநூறு ஜிகாபைட் தேவைப்படுகிறது. ஒரு மேக் ஸ்டுடியோ ஐநூறு பன்னிரண்டு ஜிகாபைட் வரை செல்லும், மற்றும் ஊகத்திற்கு வேலை நினைவகமும் தேவை. நீங்கள் ஒரு சாக்ஸை கூட பேக் செய்யாததற்கு முன் எடைகள் சூட்கேஸை கிட்டத்தட்ட நிரப்பிவிடும். அதிக இயந்திரங்கள் மாதிரியை பொருந்தச் செய்யும். குழாய் இணைகள் அதன் அடுக்குகளின் வழியாக மாதிரியை வெட்டுகிறது. மேக் A முந்தைய அடுக்குகளை செய்கிறது, பின்னர் இடைநிலை முடிவை மேக் B க்கு அடுத்த அடுக்குகளுக்கு அனுப்புகிறது.

1:05 அடுத்த அடுக்குகளுக்கு. ஒரு உருவாக்கப்பட்ட டோக்கனுக்கு, அந்த படிகள் இன்னும் வரிசையில் நடக்கும். ஆப்பிளின் அளவீடுகள் டிகோடிங் வேகம் ஒரு இயந்திரத்திற்கு மிகவும் ஒத்ததாக இருக்கும் என்பதைக் காட்டுகின்றன. நீங்கள் ஒரு இரண்டாவது சமையல்காரரை வேலைக்கு அமர்த்தி, அவர்களுக்கு அதே சாண்ட்விச்சை கொடுத்திருக்கிறீர்கள். ஹேக்கர் நியூஸில், ஒரு டெவலப்பர் ஏன் ஆப்பிளின் அட்டவணை நான்கு பிட் மெட்டா மாதிரியை அதன் சொந்த துல்லியத்தில் Qwen மாதிரிக்கு அடுத்ததாகப் பயன்படுத்தியது என்று கேள்வி எழுப்பினார். ஆப்பிளின் அட்டவணை வடிவங்களைக் கூறுகிறது, எனவே ஷாப்பிங் செய்வதற்கு முன் அடிக்குறிப்புகளைப் படிக்கவும். ஸ்லைடு டெக் அளவுகோல்கள் தோற்கடிக்கப்படவில்லை.

1:29 டென்சர் இணைகள் ஒவ்வொரு அடுக்குக்கும் குறுக்கே வெட்டுகிறது.

தண்டர்போல்ட் மேக்ஸ் ஒன்றாக வேலை செய்ய எப்படி உதவுகிறது?

1:32 பல மேக்ஸ் ஒரே அடுக்கின் துண்டுகளில் ஒன்றாக வேலை செய்கின்றன, பின்னர் அவற்றின் முடிவுகளை இணைக்கின்றன. அது உருவாக்கத்தை துரிதப்படுத்தலாம், ஆனால் இயந்திரங்கள் மீண்டும் மீண்டும் தொடர்பு கொள்கின்றன. ஆப்பிள் தண்டர்போல்ட் வழியாக குறைந்த தாமத ரிமோட் நினைவக அணுகலைப் பயன்படுத்துகிறது. ஒரு கேபிளுக்கு ஒரு துணிச்சலான தொழில் நகர்வு. தலைப்புச் செய்தி முடிவு நான்கு M5 அல்ட்ரா மேக் ஸ்டுடியோக்களிலிருந்து ஒரு வினாடிக்கு முப்பத்தாறு டோக்கன்களுக்கு மேல், சுமார் எட்டாயிரம் டோக்கன் சூழலுடன். சுமார் எட்டாயிரம் டோக்கன் சூழலுடன். ஆப்பிள் அதை தானே அளவிட்டது.

1:55 நீண்ட தூண்டுதல்கள் கதையை மாற்றுகின்றன. ஒரு பெரிய சூழல் சோதனையில், ஒரு இணைப்பிற்கு இரண்டு கேபிள்கள் முதல் டோக்கனுக்கான காத்திருப்பை சுமார் பத்து வினாடிகள் குறைத்தது. சுமார் பத்து வினாடிகள் குறைத்தது. ஒரு உள்ளூர் மாதிரி தூண்டுதல்களைச் சுற்றி உங்களுக்கு ஒரு பயனுள்ள எல்லையை அளிக்கிறது, உங்கள் உண்மையான அமைப்பு அவற்றை உள்ளூரில் வைத்திருந்தால். ஹோஸ்ட் செய்யப்பட்ட API களுக்கு எதிராக ஆப்பிள் ஒரு உலகளாவிய பிரேக் ஈவன் விலையை வழங்கவில்லை. அது பயன்பாடு மற்றும் உங்களுக்குத் தேவையான மாதிரியைப் பொறுத்தது. அவ்வப்போது கேள்விகளுக்கு பதிலளிக்கும் ஒரு இயந்திரம் ஒரு மிக விலையுயர்ந்த மேசை அலங்காரமாக நிறைய நேரம் செலவழிக்கிறது.

2:17 விலையுயர்ந்த மேசை அலங்காரமாக. அந்த மாதிரியைத் தேர்ந்தெடுப்பதற்கு உங்கள் வேலைக்கு ஒரு சோதனை தேவைப்படுகிறது.

AI அளவுகோல்கள் உண்மையில் என்ன வேலையை உள்ளடக்குகின்றன?

2:21 மெர்கர் இருபத்தி ஒன்பது அளவுகோல்களை அமெரிக்க வேலைகள் வகைப்பாட்டில் வரைபடமாக்கியுள்ளது. அதன் குறியீடு சுமார் பத்தொன்பது ஆயிரத்தில் ஒன்பது நூறு பணிகளை உள்ளடக்கியது. வரைபடம் தொண்ணூறு சதவீத வேலை நேரங்களுக்கு குறைந்த அல்லது அளவுகோல் கவரேஜ் இல்லை என்று மதிப்பிடுகிறது. அது பரீட்சைத் தாளில் ஒரு பெரிய வெற்று இடம். மெர்கரின் வரைபடம் கவரேஜை அளவிடுகிறது. ஒரு வெற்றுத் தொழிலுக்கு அரிதாகவே சோதிக்கப்பட்ட பணிகள் உள்ளன; மாதிரி திறன் ஒரு திறந்த கேள்விக்குறியாகவே உள்ளது. மாதிரி திறன் ஒரு திறந்த கேள்விக்குறியாகவே உள்ளது. வரைபடம் ஒரு AI மாதிரியைப் பயன்படுத்தியது, மெர்கரின் சொந்த அளவுகோல் தூண்டுதல்களின் துணைக்குழுவில் மனித மதிப்பாய்வுடன். மெர்கரின் சொந்த அளவுகோல் தூண்டுதல்களின் துணைக்குழுவில் மனித மதிப்பாய்வுடன்.

2:49 மதிப்பாய்வாளர்கள் அதன் முதல் தேர்வுகளில் சுமார் முக்கால்வாசி பேரை ஏற்றுக்கொண்டனர். மதிப்பீட்டு முறைக்கு அதன் சொந்த மதிப்பீட்டு முறை தேவை, இயல்பாகவே. எனவே உங்கள் வேலையைப் பற்றி கவலைப்பட்டால், ஒரு தரவரிசைப் பட்டியல் வாதத்தைத் தீர்க்க முடியாது. நீங்கள் ஒரு குறியீட்டு உதவியாளரை வாங்கினால், உங்கள் சொந்த ஏற்றுக்கொள்ளும் சோதனைகளுடன் ஒரு உண்மையான பணியை மீண்டும் செய்யவும். ஏற்றுக்கொள்ளும் சோதனைகளுடன். பயனுள்ள வேலை டெமோவுக்குப் பிறகு சங்கடமான பிட்களை உள்ளடக்கியது. சட்போட் தவறான விரிதாளை நம்பிக்கையுடன் முடித்ததால் யாரும் பதவி உயர்வு பெறுவதில்லை. இது நம்மை இரவு முழுவதும் புதுப்பித்தலுக்கு கொண்டு வருகிறது.

இரவு முழுவதும் யார் பாதிக்கப்பட்டனர் என்று OpenCode சொல்கிறது?

3:13 OpenCode கன்சோல் பயனர்களில் 1.4 சதவீதத்தை ஒரு பாதுகாப்பு மீறல் பாதித்ததாக கூறுகிறது. அதன் திருத்தப்பட்ட அறிவிப்பு வெளி வழங்குநர்களுடன் இணைக்கப்பட்ட துணைக்குழுவை அதற்குக் குறைக்கிறது, மற்றும் பாதிக்கப்பட்ட பயனர்களுக்கு மின்னஞ்சல் அனுப்பப்பட்டது என்று கூறுகிறது. இது ஒரு பெரிய அளவிலான பிரித்தெடுத்தல் தாக்குதல் என்று அழைக்கிறது, மேலும் இந்த சம்பவம் நடந்து கொண்டிருக்கிறது என்று கூறுகிறது. ஒரு பொதுவான மூல காரணம் இன்னும் வரவில்லை. பதில்களில் காணாமல் போன வழங்குநர் கடன் குறித்து புகாரளிப்பவர்கள் அடங்குவர், இது நிகழ்வுகள் குறித்த அவர்களின் கணக்கு. அறிவிப்பு ஒவ்வொரு நபரின் இழப்புகள் அல்லது இழப்பீட்டை நிறுவவில்லை.

3:38 ஆப்பிள் OpenCode ஐ உள்ளூர் ஊகத்துடன் எவ்வாறு இணைப்பது என்று காட்டியது, இப்போது அதன் பெயர் ஒரு பாதுகாப்பு எச்சரிக்கைக்கு அடுத்ததாக உள்ளது. தயாரிப்பு பெயர் பல வெவ்வேறு நம்பிக்கை வரம்புகளை உள்ளடக்கியது. கன்சோல் பயனர்கள் அதிகாரப்பூர்வ அறிவிப்பைப் படித்து வழங்குநர் பயன்பாட்டை சரிபார்க்க வேண்டும். நீங்கள் பாதிக்கப்பட்டிருந்தால், சரிசெய்தல் வழிமுறைகளைப் பின்பற்றி இணைக்கப்பட்ட சான்றுகளை மதிப்பாய்வு செய்யவும். சான்றுகளை மதிப்பாய்வு செய்யவும். இந்த அறிவிப்பு நமக்கு ஒரு குறிப்பிட்ட ஹோஸ்ட் செய்யப்பட்ட கன்சோல் நோக்கத்தை அளிக்கிறது. இது ஒவ்வொரு உள்ளூர் நிறுவலிலும் ஒரு சமரசத்திற்கான ஆதாரத்தை இங்கு வழங்கவில்லை.

உள்ளூர் ஊகம் உங்கள் கட்டுப்பாட்டில் என்ன வைக்கிறது?

4:02 இங்கே இணைப்பு. ஆப்பிளின் கட்டுரை OpenCode ஐ அதன் உள்ளூர் மாதிரி சேவையகத்திற்கான ஒரு கிளையண்டாக பெயரிடுகிறது. அதே குறியீட்டு இடைமுகம் மிகவும் மாறுபட்ட உள்கட்டமைப்புக்கு முன்னால் அமர்ந்திருக்க முடியும். நான்கு மேக்ஸ் என்ன வாங்குகிறது என்பதற்கு அது பதிலளிக்கிறது. திறன், மற்றும் நீங்கள் நிர்வகிக்கக்கூடிய ஒரு ஊக எல்லை. அந்த எல்லையைச் சுற்றியுள்ள சேவைகள் இன்னும் அவற்றின் சொந்த மதிப்பாய்வுக்குத் தகுதியானவை. எனது வாங்கும் விதி எளிமையானது. மாதிரி பொருந்துவதை நிரூபிக்கவும், முழுப் பணியையும் அளவிடவும், ஒரு சான்றுகளை வைத்திருக்கும் ஒவ்வொரு சேவையையும் சரிபார்க்கவும்.

4:23 சான்றுகளை வைத்திருக்கும் ஒவ்வொரு சேவையையும் சரிபார்க்கவும். ஆப்பிளின் முடிவு பெரிய உள்ளூர் ஊகத்தை மிகவும் நடைமுறைக்குரியதாக்குகிறது, குழாய் சோதனை வன்பொருளைச் சேர்ப்பது ஏன் ஏமாற்றமளிக்கும் என்பதை விளக்குகிறது. உங்கள் ஏற்றுக்கொள்ளும் சோதனை கொள்முதல் ஆர்டருக்கு அடுத்ததாக இருக்க வேண்டும். நான் சொல்வதைக் கேட்பதை விட இதைப் படிக்க விரும்பினால், தினமும் காலை உங்கள் இன்பாக்ஸில் டிஃப் வருகிறது, daily diff dot dev இல் இலவசமாக, கீழே உள்ள இணைப்பு.

நான்கு மேக் கிளஸ்டரை நான் வாங்குவேனா?

4:40 எனவே இன்றைய தீர்ப்பு NEEDS REVIEW. கிளஸ்டரை வாங்குவதற்கு முன் எனது உண்மையான பணிச்சுமையை நான் அளவிடுவேன். சப்ஸ்கிரைப் செய்யவும், பெல்லை அழுத்தவும், மற்றும் நீங்கள் அதை வேறுவிதமாக முத்திரையிட்டிருந்தால் கருத்துகளில் எனக்குத் தெரிவிக்கவும். வேறுவிதமாக. அதுதான் இன்றுக்கான டிஃப். நான் அக்ஸிரிசியிலிருந்து நிகோ. பொறுப்புடன் ஒன்றிணைக்கவும்.

ஆதாரங்கள்

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X