Lokalni vodič za AI hardver (2026)

Šta ovaj video pokriva

• 20x pad propusnosti memorije: 936 GB/s GDDR6X naspram 50 GB/s DDR5 i 31.5 GB/s PCIe
• Veličina modela @ 4-bit: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
• Nivo 1 (1.200–1.500 dolara): RTX 4060 Ti 16GB (nikad 8GB) ili Mac Mini 16GB
• Nivo 2 (1.500–2.000 dolara): Korišćeni RTX 3090 24GB optimalna opcija ili Mac Mini M4 Pro 64GB
• Nivo 3 (3.500$+): RTX 4090 24GB / dual 3090s ili Mac Studio Ultra

Prevedeni transkript

Prevedeno iz originalne engleske naracije. Dostupan zvuk i titlovi kontroliše YouTube.

0:00 Ako planirate da sastavite PC za pokretanje lokalnih AI agenata, prestanite da sastavljate gejming mašinu. Ne treba vam Core i9 od 5.8 gigaherca, petlja za tečno hlađenje, ili grafička kartica od osam gigabajta prekrivena RGB-om. U lokalnom AI zaključivanju, gejming specifikacije su praktično beskorisne. Jedina metrika koja diktira da li će vaš agent raditi ili puzati je VRAM kapacitet i propusnost memorijske magistrale. Pravila hardverskog testa: zaboravite na CPU taktove i rasterizacione benchmarke.

0:24 Zanimaju nas tri broja: širina memorijske magistrale, propusnost u gigabajtima po sekundi i sirov VRAM prostor za KV cache bloat. U ovom terenskom testu, objasniću pad propusnosti memorije od dvadeset puta, mapiraću pravila veličine modela, testiraću tri stvarna nivoa od hiljadu i dve stotine dolara do pet hiljada, i objasniću zašto je korišćeni 3090 i dalje najveći računarski cheat code. Ovo je The Daily Diff, terenski test. Da biste razumeli zašto gejming mašine ne uspevaju, pogledajte kako se zapravo generišu tokeni. U igrama, vaš CPU šalje draw pozive, a vaš GPU renderuje frejmove.

0:54 Ali autoregresivno LLM dekodiranje je gotovo čisto ograničeno propusnošću memorije. Da bi generisao jedan token, GPU mora da streamuje svaki parametar težine modela iz memorije kroz svoja računarska jezgra. Ako je vaš model deset gigabajta, produciranje jednog tokena znači čitanje deset gigabajta podataka. Na Nvidia RTX 3090 sa 384-bitnom memorijskom magistralom, dobijate 936 gigabajta u sekundi GDDR6X propusnosti, produkujući osamdeset tokena u sekundi. Ali pogledajte šta se dešava u milisekundi kada vaš model premaši fizički VRAM.

1:22 Kada se VRAM napuni, runtimes prebacuju preostale slojeve preko PCIe magistrale u sistemsku DDR5 memoriju. Vaša GPU jezgra očekuju hiljadu gigabajta u sekundi. Umesto toga, dual-channel DDR5 im daje pedeset, a PCIe 4 se guši na trideset i jednom. To je dvadesetostruki kolaps propusnosti. Pipeline generisanja tokena se odmah zaustavlja čekajući na magistrali, i brzina pada sa četrdeset tokena u sekundi na jedan i po. Pretvorili ste mašinu od dve hiljade dolara u grejač.

1:47 I postaje gore tokom višestrukih agentnih pokretanja, jer su težine samo pola bitke. Svaki prompt, poziv alata i deo datoteke se skladišti u Key-Value cache. Kontekstni prozor od trideset i dve hiljade može da potroši četiri do osam gigabajta VRAM-a povrh težina. Ako vaša kartica ima samo šesnaest gigabajta, vaš agent se ponavlja dvaput, nailazi na kontekstni zid i ili se ruši sa greškom nedostatka memorije ili se preliva u DDR5. Evo varalice za veličinu od 4 bita. Model sa sedam ili osam milijardi parametara kao što je Llama 3.1 ili DeepSeek Distill

2:16 zahteva oko pet gigabajta. Model od četrnaest milijardi zahteva deset gigabajta. Model od trideset i dve milijarde, optimalna tačka inteligencije za agente kodiranja, zahteva dvadeset gigabajta. A granični model od sedamdeset milijardi zahteva četrdeset gigabajta pre nego što uopšte dodeli kontekst. Što nas dovodi do stvarnih hardverskih konfiguracija. Nivo 1 je početna konfiguracija, hiljadu dve stotine do hiljadu pet stotina dolara. Na PC-u, vaše sidro je RTX 4060 Ti 16-gigabajta.

2:39 Kritično upozorenje: nikada ne kupujte verziju od osam gigabajta da biste uštedeli sedamdeset dolara. Osam gigabajta VRAM-a u 2026. godini je trenutna smrtna kazna zbog nedostatka memorije na bilo kom stvarnom toku posla agenta. Uparite ga sa šest-jezgarnim Ryzen 5 procesorom, šezdeset i četiri gigabajta DDR5 memorije, i dva terabajta NVMe diska. U svetu Apple-a, ekvivalent je Mac Mini ili MacBook Pro sa šesnaest gigabajta objedinjene memorije.

3:02 Videćete četrdeset do pedeset tokena u sekundi na modelima od osam milijardi. Nivo 2 je optimalna tačka za napredne korisnike: specifično napravljena za pokretanje modela sa trideset i dve milijarde parametara kao što je Qwen 2.5 32B. Put A je novi RTX 4070 Ti Super sa šesnaest gigabajta za osam stotina dolara. Ali Put B je moja snažna preporuka: kupite korišćeni Nvidia RTX 3090 od dvadeset četiri gigabajta. Možete pronaći očuvane 3090-ice na eBayu za šest stotina pedeset do sedam stotina pedeset dolara. To vam daje dvadeset četiri gigabajta VRAM-a na masivnoj 384-bitnoj magistrali koja gura

3:33 936 gigabajta u sekundi. Dolar za dolar, to je najbolja ponuda VRAM-a u računarstvu. Na macOS-u, pandan Nivoa 2 je Mac Mini M4 Pro sa šezdeset četiri gigabajta objedinjene memorije. Proizvodi jedanaest do dvanaest tokena u sekundi na modelu od trideset dve milijarde: sporije od Nvidije, ali potpuno bešuman sa trideset vati i prostorom za ogroman kontekstni prozor. Nivo 3 je entuzijastički nivo za rojeve multi-agenata. Na PC-u, to znači RTX 4090 sa dvadeset četiri gigabajta,

3:57 Ryzen 9 i sto dvadeset osam gigabajta RAM-a, ili dual RTX 3090s koje pružaju četrdeset osam gigabajta ukupnog VRAM-a. U Apple-ovoj ponudi, ovo je Mac Studio Ultra sa devedeset šest do sto dvadeset osam gigabajta objedinjene memorije. Supermoć je memorijska rezidencija: možete držati model za ugrađivanje, brzi ruter i 32-milijardni model za kodiranje istovremeno učitane sa nula kašnjenja zamene. Sada, iskreni neuspeh našeg terenskog testa: zamka edge računarstva.

4:24 Svake nedelje društvene objave tvrde da možete pokrenuti autonomne agente za kodiranje na Raspberry Pi 5 od osamdeset dolara. Testirao sam ga. Pokretanje sićušnog modela sa 1.5 milijardi parametara daje vam jedva tri tokena u sekundi dok se ploča throttluje na osamdeset pet stepeni Celzijusa. To je zabavna igračka za vikend, ali kao svakodnevni alat za razvoj, to je čista kazna. Za softver, koristite Ollama ako želite čist daemon komandne linije koji se povezuje

4:47 direktno sa Cursor, Cline ili VS Code. Ako želite grafičko okruženje sa preuzimanjima modela i klizačima slojeva GPU-a, koristite LM Studio. I uskladite svoj format sa svojim silicijumom. Na Apple Silicon-u, uvek preuzimajte GGUF modele optimizovane za Metal. Na Windowsu ili Linuxu sa Nvidijom, preuzimajte AWQ ili EXL2 modele, koji koriste Nvidia Tensor Cores za dvadeset do trideset posto brže zaključivanje. Kako onda ovo rasporediti bez bankrota?

5:11 Razmišljajte o lokalnom hardveru kao o kućnoj teretani naspram komercijalne teretane. Imati stalak za čučnjeve kod kuće znači da trenirate svaki dan bez putovanja, bez pretplata i sa potpunom privatnošću. Vaša lokalna mašina obrađuje osamdeset posto vašeg svakodnevnog kodiranja, jediničnog testiranja i obrade privatnih dokumenata za nula dolara po tokenu. A kada treba da podignete pet stotina funti – kao masivnu arhitektonsku refaktorizaciju celog repozitorijuma preko pedeset fajlova – posetite komercijalnu teretanu: platite cloud API za Claude 3.5 Sonnet ili OpenAI o3 na petnaest minuta

5:38 i nastavite. Evo računa: konfiguracija Nivoa 2 sa korišćenim 3090 košta šesnaest stotina dolara ukupno. Ako trošite pedeset do sto dolara mesečno na API tokene, isplatiće se za osamnaest meseci dok vaša vlasnička baza koda ostaje van servera trećih strana. Presuda današnjeg terenskog testa: SHIP IT. VRAM i propusnost memorije uvek pobeđuju taktove. Prestanite da kupujete procesore od pet gigaherca za AI i pronađite korišćeni 3090.

6:04 Recite mi koju hardversku konfiguraciju koristite za lokalne modele u komentarima. A ako biste radije pročitali ovu analizu, preuzmite bilten na the daily diff dot dev, link ispod. I to je to za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
4. Ollama Model Library & Benchmarksollama.com
5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org