ఆపిల్ MLX డిస్ట్రిబ్యూటెడ్ ఇన్ఫరెన్స్: మోడల్ సామర్థ్యం, వేగం మరియు నమ్మకపు సరిహద్దులు

ఈ వీడియో ఏమి కవర్ చేస్తుంది

• మోడల్ వెయిట్స్ మరియు ఇన్ఫరెన్స్ వర్క్‌స్పేస్ రెండూ మెమరీని వినియోగిస్తాయి; మోడల్ యొక్క వెయిట్ ఫుట్‌ప్రింట్ మాత్రమే అవసరమైన సామర్థ్యాన్ని తక్కువ అంచనా వేయగలదు.
• పైప్‌లైన్ పారలలిజం వరుస లేయర్‌లను పంచుతుంది, అయితే టెన్సార్ పారలలిజం ప్రతి లేయర్ లోపల పనిని విభజిస్తుంది మరియు తరచుగా తక్కువ-లేటెన్సీ కమ్యూనికేషన్ అవసరం.
• ఆపిల్ నాలుగు M5 అల్ట్రా మ్యాక్ స్టూడియోలలో 8,192-టోకెన్ సందర్భంతో సెకనుకు 36 టోకెన్‌ల కంటే ఎక్కువ వేగాన్ని నివేదిస్తుంది; కేబుల్ పోలిక 65,536-టోకెన్ సందర్భంలో మొదటి-టోకెన్ నిరీక్షణకు సంబంధించినది.
• మెర్కార్ యొక్క 90% పని గంటల ఫలితం దాని ఎంపిక చేసిన బెంచ్‌మార్క్ సూచికలో తక్కువ లేదా కవరేజ్ లేదని వివరిస్తుంది. ఇది 90% మోడల్ వైఫల్యం రేటును స్థాపించదు.
• ఓపెన్‌కోడ్ యొక్క సవరించిన నోటీసు లింక్ చేయబడిన బాహ్య ప్రొవైడర్‌లతో కన్సోల్ వినియోగదారుల ఉపసమితిని వివరిస్తుంది. పబ్లిక్ నోటీసు ప్రతి స్థానిక ఇన్‌స్టాలేషన్ రాజీపడిందని స్థాపించదు.
• స్థానిక మోడల్ సెటప్‌ను పూర్తి గోప్యత లేదా వ్యయ పరిష్కారంగా పరిగణించే ముందు మీ వాస్తవ పనిభారాన్ని పరీక్షించండి మరియు క్రెడెన్షియల్-బేరింగ్ సేవలను సమీక్షించండి.

అనువదించబడిన ట్రాన్స్క్రిప్ట్

అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.

రెండు మ్యాక్‌లు ఎందుకు అదే వేగంతో ఉండగలవు?

0:00 రెండు మ్యాక్‌లు మీ AI ని రెట్టింపు వేగవంతం చేస్తాయని మీరు ఆశిస్తారు. ఆపిల్ యొక్క సొంత పరీక్షలు జనరేషన్ వేగం దాదాపు మారకుండా ఉండగలదని చూపిస్తున్నాయి. ఈ వీడియోలో, నాలుగు మ్యాక్‌లు ఏమి కొనుగోలు చేస్తాయి? బెంచ్‌మార్క్‌లు ఏమి మిస్ అవుతాయి? ఒక కోడింగ్ సాధనం హార్డ్‌వేర్‌ను రాత్రికి రాత్రే జరిగిన ఉల్లంఘనకు కలుపుతుంది. మేము దాని వద్దకు తిరిగి వస్తాము. శనివారం, అక్టోబర్ పదిహేడు కోసం, ఇది The Daily Diff. MLX అనేది ఆపిల్ యొక్క ఓపెన్ సోర్స్ అర్రే ఫ్రేమ్‌వర్క్, ఇది ఆపిల్ సిలికాన్‌పై మెషీన్ లెర్నింగ్ కోసం.

0:22 ఇది మెటా యొక్క మ్యూస్ స్పార్క్ ఓపెన్‌ను నాలుగు మ్యాక్ స్టూడియోలలో నడుపుతుంది. ఇది ఏకీకృత మెమరీని ఉపయోగిస్తుంది, దీనిని CPU మరియు GPU పంచుకుంటాయి. ఆపిల్ దీన్ని అక్టోబర్ పదిహేనున ప్రచురించింది. మెర్కార్ AI బెంచ్‌మార్క్‌లు చాలా తక్కువగా కొలిచే పనిని మ్యాప్ చేసింది. మేము అక్టోబర్ పదిహేడు ఎడిషన్‌ను కవర్ చేస్తున్నాము, ఓపెన్‌కోడ్ కన్సోల్ గురించి రాత్రికి రాత్రి అక్టోబర్ పదిహేడు నవీకరణతో. ఓపెన్‌కోడ్ కన్సోల్ గురించి రాత్రికి రాత్రే అక్టోబర్ పదిహేడున వచ్చిన నవీకరణతో.

మోడల్‌కు ఒకటి కంటే ఎక్కువ మ్యాక్‌లు ఎందుకు అవసరం?

0:41 అసౌకర్యకరమైన బిట్‌తో ప్రారంభించండి. ఆపిల్ యొక్క మ్యూస్ స్పార్క్ ఓపెన్ పరీక్ష నాలుగు బిట్ మోడల్ కోసం ఐదు వందల గిగాబైట్ల వరకు ఉపయోగిస్తుంది. ఒకే మ్యాక్ స్టూడియో ఐదు వందల పన్నెండు గిగాబైట్ల వద్ద గరిష్టంగా ఉంటుంది, మరియు ఇన్ఫరెన్స్‌కు పని చేసే మెమరీ కూడా అవసరం. మీరు ఒక సాక్ కూడా ప్యాక్ చేయకముందే వెయిట్స్ సూట్‌కేస్‌ను దాదాపు నింపుతాయి. మరిన్ని యంత్రాలు మోడల్‌ను సరిపోతాయి. పైప్‌లైన్ పారలలిజం మోడల్‌ను దాని లేయర్‌ల ద్వారా కట్ చేస్తుంది. మ్యాక్ A మునుపటి లేయర్‌లను చేస్తుంది, ఆపై మధ్యస్థ ఫలితాన్ని తదుపరి లేయర్‌ల కోసం మ్యాక్ B కి పంపుతుంది.

1:05 తదుపరి లేయర్‌ల కోసం మ్యాక్ B కి పంపుతుంది. ఒక జనరేట్ చేయబడిన టోకెన్ కోసం, ఆ దశలు ఇప్పటికీ వరుసగా జరుగుతాయి. ఆపిల్ యొక్క కొలతలు డీకోడ్ వేగం ఒకే యంత్రానికి చాలా పోలి ఉంటుందని చూపిస్తున్నాయి. మీరు రెండవ వంటవాడిని నియమించారు, మరియు వారికి అదే శాండ్‌విచ్ ఇచ్చారు. హ్యాకర్ న్యూస్‌లో, ఒక డెవలపర్ ఆపిల్ పట్టిక ఎందుకు నాలుగు బిట్ మెటా మోడల్‌ను దాని స్థానిక ఖచ్చితత్వంతో కూడిన క్వెన్ మోడల్‌తో పాటు ఉపయోగించిందని ప్రశ్నించారు. మోడల్‌ను దాని స్థానిక ఖచ్చితత్వంతో ఉపయోగించిందని ప్రశ్నించారు. ఆపిల్ పట్టిక ఫార్మాట్‌లను పేర్కొంటుంది, కాబట్టి షాపింగ్ చేసే ముందు అడుగు గమనికలను చదవండి. స్లయిడ్ డెక్ బెంచ్‌మార్క్‌లు అజేయంగా ఉన్నాయి.

1:29 టెన్సార్ పారలలిజం బదులుగా ప్రతి లేయర్ అంతటా కట్ చేస్తుంది.

మ్యాక్‌లు కలిసి పనిచేయడానికి థండర్‌బోల్ట్ ఎలా సహాయపడుతుంది?

1:32 బహుళ మ్యాక్‌లు ఒకే లేయర్ ముక్కలపై కలిసి పనిచేస్తాయి, ఆపై వాటి ఫలితాలను కలుపుతాయి. అది జనరేషన్‌ను వేగవంతం చేయగలదు, కానీ యంత్రాలు పదేపదే కమ్యూనికేట్ చేస్తాయి. ఆపిల్ థండర్‌బోల్ట్ ద్వారా తక్కువ లేటెన్సీ రిమోట్ మెమరీ యాక్సెస్ ఉపయోగిస్తుంది. ఒక కేబుల్ కోసం సాహసోపేతమైన కెరీర్ కదలిక. ప్రధాన ఫలితం నాలుగు M5 అల్ట్రా మ్యాక్ స్టూడియోల నుండి సెకనుకు ముప్పై ఆరు టోకెన్‌ల కంటే ఎక్కువ, దాదాపు ఎనిమిది వేల టోకెన్‌ల సందర్భంతో. స్టూడియోల నుండి సెకనుకు ముప్పై ఆరు టోకెన్‌ల కంటే ఎక్కువ, దాదాపు ఎనిమిది వేల టోకెన్‌ల సందర్భంతో. ఆపిల్ దానిని స్వయంగా కొలిచింది.

1:55 పొడవైన ప్రాంప్ట్‌లు కథను మారుస్తాయి. ఒక పెద్ద సందర్భ పరీక్షలో, ప్రతి లింక్‌కు రెండు కేబుల్‌లు మొదటి టోకెన్ కోసం నిరీక్షణను దాదాపు పది సెకన్ల వరకు తగ్గించాయి. టోకెన్ కోసం నిరీక్షణను దాదాపు పది సెకన్ల వరకు తగ్గించాయి. మీ వాస్తవ సెటప్ వాటిని స్థానికంగా ఉంచినట్లయితే, స్థానిక మోడల్ మీకు ప్రాంప్ట్‌ల చుట్టూ ఉపయోగకరమైన సరిహద్దును ఇస్తుంది. వాటిని స్థానికంగా ఉంచినట్లయితే. హోస్ట్ చేయబడిన API లతో పోలిస్తే ఆపిల్ సార్వత్రిక బ్రేకవరేజ్ ధరను అందించలేదు. అది వినియోగం మరియు మీకు అవసరమైన మోడల్‌పై ఆధారపడి ఉంటుంది. అప్పుడప్పుడు ప్రశ్నలకు సమాధానం ఇచ్చే యంత్రం చాలా ఖరీదైన డెస్క్ అలంకరణగా చాలా సమయం గడుపుతుంది.

2:17 చాలా ఖరీదైన డెస్క్ అలంకరణగా చాలా సమయం గడుపుతుంది. ఆ మోడల్‌ను ఎంచుకోవడానికి మీ పని కోసం ఒక పరీక్ష అవసరం.

AI బెంచ్‌మార్క్‌లు నిజానికి ఏ పనిని కవర్ చేస్తాయి?

2:21 మెర్కార్ ఇరవై తొమ్మిది బెంచ్‌మార్క్‌లను అమెరికన్ ఉద్యోగ వర్గీకరణకు మ్యాప్ చేసింది. దాని సూచిక దాదాపు పందొమ్మిది వేల పనులలో దాదాపు తొమ్మిది వందల పనులను కవర్ చేస్తుంది. తొంభై శాతం పని గంటలకు తక్కువ లేదా బెంచ్‌మార్క్ కవరేజ్ లేదని మ్యాప్ అంచనా వేస్తుంది. అది పరీక్ష పేపర్‌పై ఒక పెద్ద ఖాళీ స్థలం. బెంచ్‌మార్క్ కవరేజ్ లేదు. అది పరీక్ష పేపర్‌పై ఒక పెద్ద ఖాళీ స్థలం. మెర్కార్ యొక్క మ్యాప్ కవరేజ్‌ను కొలుస్తుంది. ఒక ఖాళీ వృత్తిలో పరీక్షించబడని పనులు ఉన్నాయి; మోడల్ సామర్థ్యం ఒక బహిరంగ ప్రశ్నగా మిగిలిపోయింది. మ్యాపింగ్ AI మోడల్‌ను ఉపయోగించింది, మెర్కార్ యొక్క సొంత బెంచ్‌మార్క్ ప్రాంప్ట్‌ల ఉపసమితిపై మానవ సమీక్షతో. మోడల్ సామర్థ్యం ఒక బహిరంగ ప్రశ్నగా మిగిలిపోయింది. మ్యాపింగ్ AI మోడల్‌ను ఉపయోగించింది, మెర్కార్ యొక్క సొంత బెంచ్‌మార్క్ ప్రాంప్ట్‌ల ఉపసమితిపై మానవ సమీక్షతో. మెర్కార్ యొక్క సొంత బెంచ్‌మార్క్ ప్రాంప్ట్‌ల ఉపసమితిపై మానవ సమీక్షతో.

2:49 సమీక్షకులు దాని మొదటి ఎంపికలలో దాదాపు ముప్పై శాతం అంగీకరించారు. గ్రేడింగ్ సిస్టమ్‌కు దాని సొంత గ్రేడింగ్ సిస్టమ్ అవసరం, సహజంగానే. కాబట్టి మీరు మీ ఉద్యోగం గురించి ఆందోళన చెందుతుంటే, ఒక లీడర్‌బోర్డ్ వాదనను పరిష్కరించదు. మీరు కోడింగ్ అసిస్టెంట్‌ను కొనుగోలు చేస్తుంటే, మీ స్వంత ఆమోద తనిఖీలతో నిజమైన పనిని తిరిగి ప్లే చేయండి. ఉపయోగకరమైన పనిలో డెమో తర్వాత ఇబ్బందికరమైన బిట్స్ ఉంటాయి. చాట్‌బాట్ తప్పు స్ప్రెడ్‌షీట్‌ను నమ్మకంగా పూర్తి చేసినందున ఎవరూ ప్రమోట్ అవ్వరు. ఇది మనల్ని రాత్రికి రాత్రే వచ్చిన అప్‌డేట్‌కు తీసుకువస్తుంది.

ఓపెన్‌కోడ్ రాత్రికి రాత్రే ఎవరు ప్రభావితమయ్యారని చెబుతోంది?

3:13 ఓపెన్‌కోడ్ ఒక సెక్యూరిటీ ఉల్లంఘన ఒక పాయింట్ నాలుగు శాతం కన్సోల్ వినియోగదారులను ప్రభావితం చేసిందని చెబుతోంది. దాని సవరించిన నోటీసు బాహ్య ప్రొవైడర్‌లతో లింక్ చేయబడిన ఉపసమితికి దానిని పరిమితం చేస్తుంది మరియు ప్రభావిత వినియోగదారులకు ఇమెయిల్ చేయబడిందని చెబుతోంది. ప్రొవైడర్‌లతో లింక్ చేయబడిన ఉపసమితికి దానిని పరిమితం చేస్తుంది మరియు ప్రభావిత వినియోగదారులకు ఇమెయిల్ చేయబడిందని చెబుతోంది. ఇది పెద్ద ఎత్తున డిస్టిలేషన్ దాడిగా పిలుస్తుంది మరియు సంఘటన కొనసాగుతోందని చెబుతోంది. పబ్లిక్ మూల కారణం ఇంకా రాలేదు. ప్రత్యుత్తరాలలో అదృశ్యమైన ప్రొవైడర్ క్రెడిట్ గురించి నివేదించిన వ్యక్తులు ఉన్నారు, ఇది వారి సంఘటనల ఖాతా. నోటీసు ప్రతి వ్యక్తి నష్టాలను లేదా పరిహారాన్ని స్థాపించదు.

3:38 ఆపిల్ స్థానిక ఇన్ఫరెన్స్‌కు ఓపెన్‌కోడ్‌ను ఎలా కనెక్ట్ చేయాలో చూపించింది, మరియు ఇప్పుడు దాని పేరు ఒక సెక్యూరిటీ హెచ్చరిక పక్కన ఉంది. ఉత్పత్తి పేరు అనేక విభిన్న నమ్మకపు సరిహద్దులను కవర్ చేస్తుంది. కన్సోల్ వినియోగదారులు అధికారిక నోటీసును చదవాలి మరియు ప్రొవైడర్ వినియోగాన్ని తనిఖీ చేయాలి. మీరు ప్రభావితమైతే, నివారణ సూచనలను అనుసరించండి మరియు కనెక్ట్ చేయబడిన క్రెడెన్షియల్‌లను సమీక్షించండి. ఈ నోటీసు మాకు ఒక నిర్దిష్ట హోస్ట్ చేయబడిన కన్సోల్ పరిధిని ఇస్తుంది. ప్రతి స్థానిక ఇన్‌స్టాలేషన్‌లో రాజీపడినట్లు ఇక్కడ ఎటువంటి ఆధారాలు అందించదు.

స్థానిక ఇన్ఫరెన్స్ మీ నియంత్రణలో ఏమి ఉంచుతుంది?

4:02 ఇక్కడ కనెక్షన్ ఉంది. ఆపిల్ యొక్క వ్యాసం ఓపెన్‌కోడ్‌ను దాని స్థానిక మోడల్ సర్వర్‌కు క్లయింట్‌గా పేర్కొంది. అదే కోడింగ్ ఇంటర్‌ఫేస్ చాలా భిన్నమైన మౌలిక సదుపాయాల ముందు కూర్చోవచ్చు. నాలుగు మ్యాక్‌లు ఏమి కొనుగోలు చేస్తాయో అది సమాధానం ఇస్తుంది. సామర్థ్యం, మరియు మీరు నిర్వహించగల ఒక ఇన్ఫరెన్స్ సరిహద్దు. ఆ సరిహద్దు చుట్టూ ఉన్న సేవలు ఇప్పటికీ వాటి స్వంత సమీక్షకు అర్హులు. నా కొనుగోలు నియమం చాలా సులభం. మోడల్ సరిపోతుందని నిరూపించండి, మొత్తం పనిని కొలవండి మరియు క్రెడెన్షియల్‌ను కలిగి ఉన్న ప్రతి సేవను తనిఖీ చేయండి.

4:23 ఆపిల్ యొక్క ఫలితం పెద్ద స్థానిక ఇన్ఫరెన్స్‌ను మరింత ఆచరణాత్మకంగా చేస్తుంది, పైప్‌లైన్ పరీక్ష హార్డ్‌వేర్‌ను ఎందుకు జోడించడం నిరాశపరచగలదో వివరిస్తుంది. మీ ఆమోద పరీక్ష కొనుగోలు ఆర్డర్ పక్కన ఉంటుంది. దీన్ని నేను చెప్పడం వినడం కంటే చదవడానికి మీరు ఇష్టపడితే, ప్రతి ఉదయం మీ ఇన్‌బాక్స్‌కు diff వస్తుంది, daily diff dot dev వద్ద ఉచితంగా, లింక్ కింద.

నేను నాలుగు-మ్యాక్ క్లస్టర్‌ను కొనుగోలు చేస్తానా?

4:40 కాబట్టి నేటి తీర్పు NEEDS REVIEW. క్లస్టర్‌ను కొనుగోలు చేసే ముందు నేను నా నిజమైన పనిభారాన్ని కొలుస్తాను. సబ్‌స్క్రైబ్ చేయండి, బెల్ నొక్కండి మరియు మీరు దాన్ని విభిన్నంగా స్టాంప్ చేసి ఉంటే నాకు వ్యాఖ్యలలో చెప్పండి. విభిన్నంగా స్టాంప్ చేసి ఉంటే. మరియు ఈ రోజుకు అది diff. నేను Axrisi నుండి నికోని. బాధ్యతాయుతంగా విలీనం చేయండి.

మూలాలు

1. Local and Distributed Large LLM Inference with MLX and RDMA on Mac StudioApple Machine Learning Research
2. A benchmark map of the US economyMercor
3. Benchmark Map methodology and expert reviewMercor
4. Edited security-breach notice with Console scopeOpenCode
5. Reader questions mixed benchmark precision formatsHacker News · peri-cl (reader opinion)
6. User reports vanished provider credit (unverified loss claim)Amruth Pillai on X