+− THE DAILY DIFFdev & AI news
SHIP IT

స్థానిక AI హార్డ్‌వేర్ గైడ్ (2026)

స్థానిక AI ఏజెంట్లు మరియు ఓపెన్-వెయిట్ LLMల కోసం యంత్రాన్ని నిర్మించేటప్పుడు, డెవలపర్‌లు గేమింగ్ PC స్పెక్స్‌ను కొనుగోలు చేసే తప్పు చేస్తారు: 5.8 GHz CPUలు, కస్టమ్ లిక్విడ్ కూలింగ్ లూప్‌లు మరియు కేవలం 8GB VRAMతో వేగవంతమైన గేమింగ్ GPUలు.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

స్థానిక AI ఏజెంట్లు మరియు ఓపెన్-వెయిట్ LLMల కోసం యంత్రాన్ని నిర్మించేటప్పుడు, డెవలపర్‌లు గేమింగ్ PC స్పెక్స్‌ను కొనుగోలు చేసే తప్పు చేస్తారు: 5.8 GHz CPUలు, కస్టమ్ లిక్విడ్ కూలింగ్ లూప్‌లు మరియు కేవలం 8GB VRAMతో వేగవంతమైన గేమింగ్ GPUలు. అయితే ఆటోరెగ్రెసివ్ టోకెన్ జనరేషన్ మెమరీ-బ్యాండ్‌విడ్త్ బౌండ్, కంప్యూట్ బౌండ్ కాదు: ఒకే టోకెన్‌ను ఉత్పత్తి చేయడానికి, మోడల్‌లోని ప్రతి వెయిట్ మెమరీ బస్ ద్వారా ప్రసారం చేయబడాలి. మీ వెయిట్స్ లేదా KV కాష్ కంటెక్స్ట్ ఫిజికల్ VRAMను మించిపోయినప్పుడు, రన్‌టైమ్ PCIe ద్వారా సిస్టమ్ DDR5కి లేయర్‌లను ఆఫ్లోడ్ చేస్తుంది, మరియు మీరు 20x మెమరీ బ్యాండ్‌విడ్త్ క్లిఫ్‌ను చేరుకుంటారు: వేగం సెకనుకు 40 టోకెన్‌ల నుండి 1.5కి పడిపోతుంది. ఈ ఫీల్డ్ టెస్ట్‌లో, నికో హార్డ్‌వేర్ మెకానిక్స్, 4-బిట్ క్వాంటైజేషన్ మోడల్ సైజింగ్ రూల్స్, $1,200 నుండి $5,000 వరకు మూడు నిజమైన బడ్జెట్ శ్రేణులు, ఉపయోగించిన RTX 3090 24GB కంప్యూటింగ్‌లో ఉత్తమ VRAM-పర్-డాలర్ డీల్ ఎందుకు, రాస్బెర్రీ పై ఎడ్జ్ ట్రాప్, మరియు స్థానిక వర్సెస్ క్లౌడ్ ఇన్ఫరెన్స్ కోసం హోమ్ జిమ్ వ్యూహం గురించి వివరిస్తాడు. తీర్పు: SHIP IT.

వ్రాతపూర్వక సంచికను చదవండి (ఇంగ్లీష్) ↗

ఈ వీడియో ఏమి కవర్ చేస్తుంది

  • 20x మెమరీ బ్యాండ్‌విడ్త్ క్లిఫ్: 936 GB/s GDDR6X vs 50 GB/s DDR5 & 31.5 GB/s PCIe
  • మోడల్ సైజింగ్ @ 4-బిట్: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
  • శ్రేణి 1 ($1,200–$1,500): RTX 4060 Ti 16GB (ఎప్పుడూ 8GB కాదు) లేదా Mac Mini 16GB
  • శ్రేణి 2 ($1,500–$2,000): ఉపయోగించిన RTX 3090 24GB స్వీట్ స్పాట్ లేదా Mac Mini M4 Pro 64GB
  • శ్రేణి 3 ($3,500+): RTX 4090 24GB / డ్యుయల్ 3090లు లేదా Mac Studio Ultra

ప్రశ్నలు మరియు సమాధానాలు

స్థానికంగా LLMలను అమలు చేయడానికి CPU వేగం కంటే మెమరీ బ్యాండ్‌విడ్త్ ఎందుకు ఎక్కువ ముఖ్యమైనది?

టెక్స్ట్ రూపొందించడం అనేది మెమరీ నుండి మోడల్ వెయిట్‌లను ఎంత వేగంగా చదవగలదో దాని ద్వారా పరిమితం చేయబడుతుంది. ఒక టోకెన్‌ను ఉత్పత్తి చేయడానికి, GPU మోడల్ యొక్క ప్రతి వెయిట్‌ను దాని కంప్యూట్ కోర్ల ద్వారా ప్రసారం చేయాలి, కాబట్టి పది గిగాబైట్ మోడల్ అంటే ప్రతి టోకెన్‌కు పది గిగాబైట్లు చదవడం అని ఎపిసోడ్ వివరిస్తుంది. 384-బిట్ బస్‌తో కూడిన RTX 3090 936 GB/s GDDR6X బ్యాండ్‌విడ్త్‌ను అందిస్తుంది, దీనిని CPU క్లాక్ వేగం మార్చలేదు.

www.nvidia.com · github.com

ఒక మోడల్ GPU VRAMలో సరిపోనప్పుడు స్థానిక LLM వేగంకు ఏమి జరుగుతుంది?

మిగిలిన లేయర్‌లను PCIe బస్ ద్వారా సిస్టమ్ మెమరీ నుండి చదవబడినందున వేగం కుప్పకూలుతుంది. ఎపిసోడ్ 936 GB/s GDDR6X ను డ్యూయల్-ఛానల్ DDR5 కోసం సుమారు 50 GB/s మరియు PCIe కోసం 31.5 GB/s తో పోలుస్తుంది, ఇది 20x పతనం. దాని ఉదాహరణలో, జనరేషన్ సెకనుకు 40 టోకెన్‌ల నుండి 1.5కి పడిపోయింది.

github.com · www.jedec.org

4-బిట్ క్వాంటైజ్డ్ ఓపెన్-వెయిట్ మోడల్‌లకు ఎంత VRAM అవసరం?

4-బిట్ వద్ద, ఎపిసోడ్ ఈ సుమారు వెయిట్ పరిమాణాలను ఇస్తుంది. 8B మోడల్ సుమారు 5GB, 14B మోడల్ సుమారు 10GB, 32B మోడల్ సుమారు 20GB మరియు 70B మోడల్ సుమారు 40GB తీసుకుంటుంది. ఈ గణాంకాలు వెయిట్‌లను మాత్రమే కవర్ చేస్తాయి. దీర్ఘ సందర్భం కీ-వాల్యూ కాష్‌ను కూడా నింపుతుంది, ఇది ముప్పై రెండు వేల టోకెన్ విండో వద్ద నాలుగు నుండి ఎనిమిది గిగాబైట్లు పడుతుందని ఎపిసోడ్ చెబుతుంది.

ollama.com · github.com

స్థానిక AI కోసం ఉపయోగించిన RTX 3090 ఇప్పటికీ మంచి GPUనా?

Tier 2 బిల్డ్ కోసం ఎపిసోడ్ దీనిని సిఫార్సు చేస్తుంది ఎందుకంటే ఇది 384-బిట్ బస్‌లో 936 GB/s వద్ద ఇరవై నాలుగు గిగాబైట్ల VRAMను అందిస్తుంది, దీనిని కంప్యూటింగ్‌లో ఉత్తమ VRAM-పర్-డాలర్ డీల్ అని పిలుస్తుంది. ఎపిసోడ్ ఉపయోగించిన 3090తో కూడిన Tier 2 బిల్డ్‌ను పదహారు వందల డాలర్లకు అంచనా వేస్తుంది. RTX 4060 Ti యొక్క 8GB వెర్షన్‌ను ఎప్పుడూ కొనుగోలు చేయవద్దని కూడా ఇది చెబుతుంది.

www.nvidia.com · axrisi.com

స్థానిక AI ఏజెంట్‌లను అమలు చేయడానికి డెవలపర్లు గేమింగ్ PCని నిర్మించాలా?

గేమింగ్ స్పెక్స్‌కు బదులుగా VRAM కొనుగోలు చేయడానికి The Daily Diff యొక్క తీర్పు SHIP IT. VRAM మరియు మెమరీ బ్యాండ్‌విడ్త్ క్లాక్ వేగాలను ఎల్లప్పుడూ అధిగమిస్తాయని ఎపిసోడ్ చెబుతుంది మరియు పెద్ద రీఫ్యాక్టర్‌లను క్లౌడ్ APIకి పంపుతూనే రోజువారీ కోడింగ్ మరియు ప్రైవేట్ డాక్యుమెంట్ పనులను స్థానికంగా అమలు చేయాలని సూచిస్తుంది. Tier 2 బిల్డ్ యాభై నుండి వంద డాలర్ల API ఖర్చుతో పద్దెనిమిది నెలల్లో తన ఖర్చును తానే చెల్లిస్తుందని ఇది అంచనా వేస్తుంది.

axrisi.com · www.nvidia.com

అనువదించబడిన ట్రాన్స్క్రిప్ట్

అసలైన ఆంగ్ల కథనం నుండి అనువదించబడింది. అందుబాటులో ఉన్న ఆడియో మరియు క్యాప్షన్లు YouTube ద్వారా నియంత్రించబడతాయి.

0:00 మీరు స్థానిక AI ఏజెంట్లను నడపడానికి PCని నిర్మించాలని ప్లాన్ చేస్తుంటే, గేమింగ్ రిగ్‌ను నిర్మించడం ఆపండి. మీకు 5.8 గిగాహెర్ట్జ్ కోర్ i9, లిక్విడ్ కూలింగ్ లూప్, లేదా RGB కవర్ చేయబడిన ఎనిమిది గిగాబైట్ గ్రాఫిక్స్ కార్డ్ అవసరం లేదు. స్థానిక AI ఇన్ఫరెన్స్‌లో, గేమింగ్ స్పెక్స్ దాదాపు పనికిరానివి. మీ ఏజెంట్ నడుస్తుందా లేదా నెమ్మదిగా నడుస్తుందా అని నిర్ణయించే ఏకైక మెట్రిక్ VRAM సామర్థ్యం మరియు మెమరీ బస్ బ్యాండ్‌విడ్త్. హార్డ్‌వేర్ పరీక్ష నియమాలు: CPU క్లాక్‌లు మరియు రాస్టరైజేషన్ బెంచ్‌మార్క్‌లను మర్చిపోండి.

0:24 మేము మూడు సంఖ్యల గురించి శ్రద్ధ వహిస్తాము: మెమరీ బస్ వెడల్పు, గిగాబైట్‌లలో బ్యాండ్‌విడ్త్ సెకనుకు, మరియు KV కాష్ బ్లోట్ కోసం రా VRAM హెడ్‌రూమ్. ఈ ఫీల్డ్ టెస్ట్‌లో, నేను ఇరవై-x మెమరీ బ్యాండ్‌విడ్త్ క్లిఫ్‌ను వివరిస్తాను, మోడల్ సైజింగ్ రూల్స్‌ను మ్యాప్ చేస్తాను, పన్నెండు వందల నుండి ఐదు వేల డాలర్ల వరకు మూడు నిజమైన శ్రేణులను బెంచ్‌మార్క్ చేస్తాను, మరియు ఉపయోగించిన 3090 ఇప్పటికీ కంప్యూటింగ్ యొక్క గొప్ప చీట్ కోడ్ ఎందుకు అని వివరిస్తాను. ఇది The Daily Diff, ఫీల్డ్ టెస్ట్. గేమింగ్ రిగ్‌లు ఎందుకు విఫలమవుతాయో అర్థం చేసుకోవడానికి, టోకెన్ జనరేషన్ వాస్తవానికి ఎలా ఎగ్జిక్యూట్ అవుతుందో చూడండి. ఆటలలో, మీ CPU డ్రా కాల్స్‌ను అందిస్తుంది మరియు మీ GPU ఫ్రేమ్‌లను రెండర్ చేస్తుంది.

0:54 కానీ ఆటోరెగ్రెసివ్ LLM డీకోడింగ్ దాదాపు పూర్తిగా మెమరీ బ్యాండ్‌విడ్త్ బౌండ్. ఒకే టోకెన్‌ను రూపొందించడానికి, GPU మోడల్ యొక్క ప్రతి వెయిట్ పరామితిని మెమరీ నుండి దాని కంప్యూట్ కోర్స్ ద్వారా స్ట్రీమ్ చేయాలి. మీ మోడల్ పది గిగాబైట్లు అయితే, ఒక టోకెన్‌ను ఉత్పత్తి చేయడం అంటే పది గిగాబైట్ల డేటాను చదవడం. 384-బిట్ మెమరీ బస్‌తో కూడిన Nvidia RTX 3090లో, మీరు సెకనుకు 936 గిగాబైట్ల GDDR6X బ్యాండ్‌విడ్త్‌ను పొందుతారు, సెకనుకు ఎనభై టోకెన్‌లను ఉత్పత్తి చేస్తారు. కానీ మీ మోడల్ ఫిజికల్ VRAMను మించిపోయిన తక్షణమే ఏమి జరుగుతుందో చూడండి.

1:22 VRAM నిండినప్పుడు, రన్‌టైమ్‌లు మిగిలిన లేయర్‌లను PCIe బస్ ద్వారా సిస్టమ్ DDR5 మెమరీకి ఆఫ్లోడ్ చేస్తాయి. మీ GPU కోర్‌లు సెకనుకు వెయ్యి గిగాబైట్‌లను ఆశిస్తాయి. బదులుగా, డ్యుయల్-ఛానల్ DDR5 వాటికి యాభైని అందిస్తుంది, మరియు PCIe 4 ముప్పై-ఒకటి వద్ద ఆగిపోతుంది. అది ఇరవై-x బ్యాండ్‌విడ్త్ పతనం. టోకెన్ జనరేషన్ పైప్‌లైన్ బస్ కోసం వేచి ఉండి తక్షణమే ఆగిపోతుంది, మరియు వేగం సెకనుకు నలభై టోకెన్‌ల నుండి ఒకటి పాయింట్ ఐదుకి పడిపోతుంది. మీరు రెండు వేల డాలర్ల రిగ్‌ను స్పేస్ హీటర్‌గా మార్చారు.

1:47 మరియు బహుళ-టర్న్ ఏజెంట్ రన్‌ల సమయంలో ఇది మరింత దిగజారుతుంది, ఎందుకంటే వెయిట్స్ సగం మాత్రమే యుద్ధం. ప్రతి ప్రాంప్ట్, టూల్ కాల్, మరియు ఫైల్ చంక్ కీ-వాల్యూలో నిల్వ చేయబడతాయి కాష్. ముప్పై-రెండు-k కంటెక్స్ట్ విండో వెయిట్స్ పైన నాలుగు నుండి ఎనిమిది గిగాబైట్ల VRAMను తినగలదు. మీ కార్డ్ కేవలం పదహారు గిగాబైట్‌లను కలిగి ఉంటే, మీ ఏజెంట్ రెండుసార్లు లూప్ అవుతుంది, కంటెక్స్ట్ వాల్‌ను తాకుతుంది, మరియు అవుట్-ఆఫ్-మెమరీ ఎర్రర్‌తో క్రాష్ అవుతుంది లేదా DDR5లోకి పొంగిపోతుంది. ఇక్కడ నాలుగు-బిట్ సైజింగ్ చీట్ షీట్ ఉంది. లామా 3.1 లేదా డీప్‌సీక్ డిస్టిల్ వంటి ఏడు లేదా ఎనిమిది-బిలియన్ పారామీటర్ మోడల్

2:16 సుమారు ఐదు గిగాబైట్‌లను తీసుకుంటుంది. పద్నాలుగు-బిలియన్ మోడల్ పది గిగాబైట్‌లను తీసుకుంటుంది. ముప్పై-రెండు-బిలియన్ మోడల్, కోడింగ్ ఏజెంట్ల కోసం ఇంటెలిజెన్స్ స్వీట్ స్పాట్, ఇరవై గిగాబైట్‌లను కోరుతుంది. మరియు డెభై-బిలియన్ ఫ్రాంటియర్ మోడల్ మీరు కంటెక్స్ట్‌ను కేటాయించకముందే నలభై గిగాబైట్‌లను డిమాండ్ చేస్తుంది. ఇది మనల్ని వాస్తవ హార్డ్‌వేర్ బిల్డ్‌లకు తీసుకువస్తుంది. శ్రేణి 1 అనేది స్టార్టర్ రిగ్, పన్నెండు వందల నుండి పదిహేను వందల డాలర్లు. PCలో, మీ యాంకర్ RTX 4060 Ti 16-గిగాబైట్.

2:39 ముఖ్యమైన హెచ్చరిక: డెభై డాలర్లు ఆదా చేయడానికి ఎప్పుడూ ఎనిమిది-గిగాబైట్ వెర్షన్‌ను కొనుగోలు చేయవద్దు. 2026లో ఎనిమిది గిగాబైట్ల VRAM ఏదైనా నిజమైన ఏజెంట్ వర్క్‌ఫ్లోలో తక్షణ అవుట్-ఆఫ్-మెమరీ మరణశిక్ష. దీన్ని ఆరు-కోర్ రైజెన్ 5, అరవై-నాలుగు గిగాబైట్ల DDR5, మరియు రెండు-టెరాబైట్ NVMe డ్రైవ్‌తో జత చేయండి. ఆపిల్ ల్యాండ్‌లో, దీనికి సమానమైనది మాక్ మినీ లేదా మాక్‌బుక్ ప్రో పదహారు గిగాబైట్ల యూనిఫైడ్ మెమరీతో.

3:02 మీరు ఎనిమిది-బిలియన్ మోడళ్లలో సెకనుకు నలభై నుండి యాభై టోకెన్‌లను చూస్తారు. శ్రేణి 2 అనేది పవర్ యూజర్ స్వీట్ స్పాట్: ప్రత్యేకంగా Qwen 2.5 32B వంటి ముప్పై-రెండు-బిలియన్ పారామీటర్ మోడల్‌లను అమలు చేయడానికి నిర్మించబడింది. పాత్ A అనేది కొత్త RTX 4070 Ti సూపర్ పదహారు గిగాబైట్‌లతో ఎనిమిది వందల డాలర్లకు. కానీ పాత్ B నా బలమైన సిఫార్సు: ఉపయోగించిన Nvidia RTX 3090 ఇరవై-నాలుగు గిగాబైట్‌ను కొనండి. మీరు eBayలో ఆరు వందల యాభై నుండి ఏడు వందల యాభై డాలర్లకు క్లీన్ 3090లను కనుగొనవచ్చు. అది మీకు భారీ 384-బిట్ బస్‌లో ఇరవై-నాలుగు గిగాబైట్ల VRAMను అందిస్తుంది,

3:33 సెకనుకు 936 గిగాబైట్‌లను నెడుతుంది. డాలర్ కోసం డాలర్, ఇది కంప్యూటింగ్‌లో ఉత్తమ VRAM డీల్. macOSలో, శ్రేణి 2 ప్రత్యర్థి Mac Mini M4 Pro అరవై-నాలుగు గిగాబైట్ల యూనిఫైడ్ మెమరీతో. ఇది ముప్పై-రెండు-బిలియన్ మోడల్‌లో సెకనుకు పదకొండు నుండి పన్నెండు టోకెన్‌లను ఉత్పత్తి చేస్తుంది: Nvidia కంటే నెమ్మదిగా, కానీ ముప్పై వాట్ల వద్ద నిశ్శబ్దంగా ఒక పెద్ద కంటెక్స్ట్ విండో కోసం స్థలంతో. శ్రేణి 3 అనేది బహుళ-ఏజెంట్ స్వార్మ్స్ కోసం ఔత్సాహిక బ్రాకెట్. PCలో, అది ఇరవై-నాలుగు గిగాబైట్‌లతో కూడిన RTX 4090,

3:57 రైజెన్ 9, మరియు నూట ఇరవై-ఎనిమిది గిగాబైట్ల RAM, లేదా డ్యుయల్ RTX 3090లు మొత్తం నలభై-ఎనిమిది గిగాబైట్ల VRAMను అందిస్తాయి. ఆపిల్ లైనప్‌లో, ఇది నూట నలభై ఆరు నుండి వంద ఇరవై-ఎనిమిది గిగాబైట్ల యూనిఫైడ్ మెమరీతో కూడిన Mac Studio Ultra. సూపర్‌పవర్ మెమరీ రెసిడెన్సీ: మీరు ఎంబెడ్డింగ్ మోడల్‌ను, వేగవంతమైన రూటర్‌ను, మరియు 32-బిలియన్ కోడింగ్ మోడల్‌ను ఒకేసారి లోడ్ చేయవచ్చు సున్నా స్వాప్ ఆలస్యంతో. ఇప్పుడు మన ఫీల్డ్ టెస్ట్ యొక్క నిజమైన వైఫల్యం కోసం: ఎడ్జ్ కంప్యూటింగ్ ట్రాప్.

4:24 ప్రతి వారం ఒక సోషల్ పోస్ట్ మీరు ఎనభై డాలర్ల రాస్బెర్రీ పై 5లో స్వయంప్రతిపత్త కోడింగ్ ఏజెంట్లను నడపవచ్చని పేర్కొంటుంది. నేను దానిని పరీక్షించాను. ఒక చిన్న ఒకటి పాయింట్ ఐదు బిలియన్ పారామీటర్ మోడల్‌ను నడపడం మీకు సెకనుకు కేవలం మూడు టోకెన్‌లను ఇస్తుంది, బోర్డు ఎనభై-ఐదు డిగ్రీల సెల్సియస్ వద్ద థ్రాటిల్ అవుతుంది. ఇది ఒక మంచి వీకెండ్ బొమ్మ, కానీ రోజువారీ డెవలప్‌మెంట్ డ్రైవర్‌గా, ఇది కేవలం శిక్ష. సాఫ్ట్‌వేర్ కోసం, మీరు కర్సర్, క్లైన్, లేదా VS కోడ్‌కు నేరుగా కనెక్ట్ అయ్యే క్లీన్ కమాండ్-లైన్ డేమోన్ కావాలంటే Ollamaను ఉపయోగించండి.

4:47 లేదా VS కోడ్‌కు నేరుగా కనెక్ట్ అయ్యే క్లీన్ కమాండ్-లైన్ డేమోన్ కావాలంటే Ollamaను ఉపయోగించండి. మోడల్ డౌన్‌లోడ్‌లు మరియు GPU లేయర్ స్లైడర్‌లతో కూడిన గ్రాఫికల్ ప్లేగ్రౌండ్ కావాలంటే, LM స్టూడియోను ఉపయోగించండి. మరియు మీ ఫార్మాట్‌ను మీ సిలికాన్‌కు సరిపోల్చండి. Apple Siliconలో, ఎల్లప్పుడూ మెటల్ కోసం ఆప్టిమైజ్ చేయబడిన GGUF మోడల్‌లను డౌన్‌లోడ్ చేయండి. Nvidiaతో Windows లేదా Linuxలో, AWQ లేదా EXL2 మోడల్‌లను డౌన్‌లోడ్ చేయండి, ఇవి ఇరవై నుండి ముప్పై శాతం వేగవంతమైన ఇన్ఫరెన్స్ కోసం Nvidia Tensor Coresను ఉపయోగిస్తాయి. కాబట్టి మీరు దీన్ని విచ్ఛిన్నం చేయకుండా ఎలా డిప్లాయ్ చేస్తారు?

5:11 స్థానిక హార్డ్‌వేర్‌ను హోమ్ జిమ్ వర్సెస్ కమర్షియల్ జిమ్ లాగా ఆలోచించండి. ఇంటి వద్ద స్క్వాట్ ర్యాక్ కలిగి ఉండటం అంటే మీరు సున్నా ప్రయాణంతో ప్రతిరోజూ శిక్షణ పొందుతారు, సున్నా సబ్‌స్క్రిప్షన్ ఫీజులు, మరియు పూర్తి గోప్యత. మీ స్థానిక యంత్రం మీ రోజువారీ కోడింగ్, యూనిట్ టెస్టింగ్, మరియు ప్రైవేట్ డాక్యుమెంట్ ప్రాసెసింగ్‌లో ఎనభై శాతం సున్నా డాలర్లకు ప్రతి టోకెన్‌కు నిర్వహిస్తుంది. మరియు మీరు ఐదు వందల పౌండ్లు డెడ్‌లిఫ్ట్ చేయవలసి వచ్చినప్పుడు — యాభై ఫైల్స్‌లో భారీ రెపో-వైడ్ ఆర్కిటెక్చరల్ రీఫ్యాక్టర్ వంటిది — మీరు కమర్షియల్ జిమ్‌ను సందర్శించండి: క్లాడ్ 3.5 సోనెట్ లేదా OpenAI o3 కోసం పదిహేను నిమిషాలు క్లౌడ్ APIకి చెల్లించండి

5:38 మరియు ముందుకు సాగండి. ఇక్కడ బిల్లు ఉంది: ఉపయోగించిన 3090తో కూడిన శ్రేణి 2 బిల్డ్ మొత్తం పదహారు వందల డాలర్లు. మీరు API టోకెన్‌ల కోసం నెలకు యాభై నుండి వంద డాలర్లు ఖర్చు చేస్తే, ఇది పద్దెనిమిది నెలల్లో దానికదే చెల్లిస్తుంది, మీ యాజమాన్య కోడ్‌బేస్‌ను థర్డ్-పార్టీ సర్వర్‌ల నుండి దూరంగా ఉంచుతుంది. నేటి ఫీల్డ్ టెస్ట్ తీర్పు: SHIP IT. VRAM మరియు మెమరీ బ్యాండ్‌విడ్త్ ప్రతిసారీ క్లాక్ స్పీడ్‌లను అధిగమిస్తాయి. AI కోసం ఐదు-గిగాహెర్ట్జ్ CPUలను కొనడం ఆపండి, మరియు ఉపయోగించిన 3090ను కనుగొనండి.

6:04 మీరు స్థానిక మోడల్‌ల కోసం ఏ హార్డ్‌వేర్ బిల్డ్‌ను నడుపుతున్నారో వ్యాఖ్యలలో నాకు చెప్పండి. మరియు మీరు ఈ వివరణను చదవాలనుకుంటే, ది డైలీ డిఫ్ డాట్ దేవ్ వద్ద వార్తాలేఖను పొందండి, లింక్ కింద ఉంది. మరియు నేటి వ్యత్యాసం అంతే. నేను ఆక్స్రిసి నుండి నికో. బాధ్యతాయుతంగా విలీనం చేయండి.

మూలాలు

  1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
  2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
  3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
  4. Ollama Model Library & Benchmarksollama.com
  5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
  6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

సంబంధిత వీడియోలు

daily · te · 28 సెప్టెం, 2026

NVIDIA ఈ వ్యక్తికి ఒక బిలియన్ డాలర్లు ఇవ్వాల్సి ఉందా?

1993లో జెన్సెన్ హువాంగ్ ఎరిక్ గలిచ్‌సెన్‌ను NVIDIA సాంకేతిక సలహా బోర్డులోకి ఆహ్వానించి, 25,000 ఆప్షన్‌లను మంజూరు చేశాడు, ఆ మంజూరు ప్రకారం అవి ఒక సంవత్సరంలో అమలులోకి వచ్చాయి. 1996లో NVIDIA CFO వాటిని న

4:41 ↗
under-the-hood · te · 21 సెప్టెం, 2026

క్లాడ్ RSA-896ను కారకల్పన చేసింది. RSA వాస్తవానికి ఎలా విచ్ఛిన్నమవుతుంది

సెప్టెంబర్ 19న ఆంథ్రోపిక్ ఇంజనీర్ RSA-896 — ఒక 270-అంకెల సవాలు సంఖ్య —ను క్లాడ్‌తో, ఓపెన్-సోర్స్ CADO-NFS జల్లెడ యొక్క GPU పోర్ట్ మరియు పది రోజులలో 2,048 పనిలేకుండా ఉన్న GPUsలో ~30 GPU-సంవత్సరాలతో కార

3:39 ↗
daily · te · 10 సెప్టెం, 2026

Shopify Tailwindని కొనుగోలు చేసింది, తర్వాత స్థానికమైన దానికి తిరిగి వెళ్ళింది.

రెండు Shopify పోస్ట్‌లు, 25 గంటల వ్యవధిలో. మంగళవారం: Tailwind Labs Shopifyలో చేరుతుంది — ఫ్రేమ్‌వర్క్ MITగానే ఉంటుంది, కానీ Tailwind Plus మరియు ui.sh కొత్త కస్టమర్‌లకు మూసివేయబడ్డాయి, ఆడమ్ వాథన్ AI డా

5:15 ↗
daily · te · 20 నవం, 2026

నాస్‌డాక్‌లో ఆంథ్రోపిక్ మొదటి రోజు: మొదటి రోజు ధరలు, లాక్-అప్, రేట్-లిమిట్ రిస్క్ ఫ్యాక్టర్ మరియు రద్దు చేయగల కాంట్రాక్ట్

ఆంత్రోపిక్ దాని IPOను $83.00 వద్ద ధర నిర్ణయించింది, 980 మిలియన్ క్లాస్ A షేర్లను విక్రయించింది మరియు నాస్‌డాక్‌లో ANTగా ట్రేడింగ్ ప్రారంభించింది. ధర నవంబర్ 18, 2026న జరిగింది, మరియు ట్రేడింగ్ నవంబర్ 1

5:01 ↗