Lokalni AI hardverski vodič (2026)

Šta ovaj video pokriva

• 20x pad propusnog opsega memorije: 936 GB/s GDDR6X naspram 50 GB/s DDR5 i 31,5 GB/s PCIe
• Dimenzionisanje modela @ 4-bita: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
• Nivo 1 (1.200–1.500 dolara): RTX 4060 Ti 16GB (nikada 8GB) ili Mac Mini 16GB
• Nivo 2 (1.500–2.000 dolara): Korišćena RTX 3090 24GB kao „sweet spot“ ili Mac Mini M4 Pro 64GB
• Nivo 3 (3.500+ dolara): RTX 4090 24GB / dva 3090-ice ili Mac Studio Ultra

Preveden transkript

Prevedeno sa originalne engleske naracije. Dostupan audio i titlovi kontrolisani su od strane YouTube-a.

0:00 Ako planirate da sastavite PC za pokretanje lokalnih AI agenata, prestanite da sastavljate gejming konfiguraciju. Ne treba vam Core i9 od pet tačka osam gigaherca, sistem za tečno hlađenje, ili grafička kartica od osam gigabajta prekrivena RGB osvetljenjem. U lokalnoj AI inferenciji, gejming specifikacije su praktično beskorisne. Jedina metrika koja određuje da li vaš agent radi ili puzi je VRAM kapacitet i propusni opseg memorijske magistrale. Pravila hardverskog testa: zaboravite na taktove CPU-a i benchmarkove rasterizacije.

0:24 Zanimaju nas tri broja: širina memorijske magistrale, propusni opseg u gigabajtima po sekundi, i sirovi VRAM prostor za nabujanje KV keša. U ovom terenskom testu, objasniću pad propusnog opsega memorije od dvadeset puta, mapiraću pravila za dimenzionisanje modela, benchmarkovaću tri stvarna nivoa od hiljadu dvesta dolara do pet hiljada, i objasniti zašto je korišćena 3090 i dalje najveći „cheat code“ u računarstvu. Ovo je The Daily Diff, terenski test. Da bismo razumeli zašto gejming konfiguracije ne uspevaju, pogledajte kako se zapravo izvršava generisanje tokena. U igrama, vaš CPU šalje pozive za crtanje, a vaš GPU renderuje frejmove.

0:54 Ali autoregresivno dekodiranje LLM-a je gotovo čisto ograničeno propusnim opsegom memorije. Da bi se generisao jedan token, GPU mora da prenese svaki parametar težine modela iz memorije kroz svoje računarske jezgre. Ako je vaš model težak deset gigabajta, proizvodnja jednog tokena znači čitanje deset gigabajta podataka. Na Nvidia RTX 3090 sa 384-bitnom memorijskom magistralom, dobijate 936 gigabajta u sekundi GDDR6X propusnog opsega, proizvodeći osamdeset tokena u sekundi. Ali pogledajte šta se dešava u milisekundi kada vaš model premaši fizički VRAM.

1:22 Kada se VRAM napuni, izvršni sistemi prebacuju preostale slojeve preko PCIe magistrale u sistemsku DDR5 memoriju. Vaše GPU jezgre očekuju hiljadu gigabajta u sekundi. Umesto toga, dvokanalna DDR5 im daje pedeset, a PCIe 4 se guši na trideset jedan. To je pad propusnog opsega od dvadeset puta. Pipeline za generisanje tokena se trenutno zaustavlja čekajući na magistrali, i brzina pada sa četrdeset tokena u sekundi na jedan zarez pet. Pretvorili ste konfiguraciju od dve hiljade dolara u grejalicu.

1:47 I postaje gore tokom višestrukih pokretanja agenata, jer težine su samo pola bitke. Svaki prompt, poziv alata i deo fajla čuvaju se u Key-Value kešu. Kontekstni prozor od trideset i dve hiljade može da proguta četiri do osam gigabajta VRAM-a povrh težina. Ako vaša kartica ima samo šesnaest gigabajta, vaš agent se pokrene dvaput, udari u zid konteksta, i ili se sruši sa greškom o nedostatku memorije ili se prebaci u DDR5. Evo varalice za 4-bitno dimenzionisanje. Model sa sedam ili osam milijardi parametara, poput Llama 3.1 ili DeepSeek Distill,

2:16 zahteva oko pet gigabajta. Model sa četrnaest milijardi zahteva deset gigabajta. Model sa trideset i dve milijarde, „sweet spot“ inteligencije za agente za kodiranje, zahteva dvadeset gigabajta. A model od sedamdeset milijardi, koji predstavlja granicu, zahteva četrdeset gigabajta pre nego što uopšte alocirate kontekst. Što nas dovodi do stvarnih hardverskih konfiguracija. Nivo 1 je početna konfiguracija, od hiljadu dvesta do hiljadu petsto dolara. Na PC-u, vaše sidro je RTX 4060 Ti 16-gigabajtna.

2:39 Kritično upozorenje: nikada nemojte kupovati osmogigabajtnu verziju da biste uštedeli sedamdeset dolara. Osam gigabajta VRAM-a u 2026. je trenutna smrtna kazna zbog nedostatka memorije za bilo koji stvarni radni tok agenta. Uparite je sa šestojezgrenim Ryzenom 5, šezdeset četiri gigabajta DDR5, i NVMe diskom od dva terabajta. U svetu Apple-a, ekvivalent je Mac Mini ili MacBook Pro sa šesnaest gigabajta objedinjene memorije.

3:02 Videćete četrdeset do pedeset tokena u sekundi na modelima od osam milijardi. Nivo 2 je „sweet spot“ za napredne korisnike: građenje specifično za pokretanje modela sa trideset i dve milijarde parametara kao što je Qwen 2.5 32B. Put A je nova RTX 4070 Ti Super sa šesnaest gigabajta za osamsto dolara. Ali Put B je moja snažna preporuka: kupite korišćenu Nvidia RTX 3090 od dvadeset četiri gigabajta. Čiste 3090-ice možete naći na eBayu za šest stotina pedeset do sedamsto pedeset dolara. To vam daje dvadeset četiri gigabajta VRAM-a na masivnoj 384-bitnoj magistrali koja gura

3:33 936 gigabajta u sekundi. Dolar za dolar, to je najbolja VRAM ponuda u računarstvu. Na macOS-u, pandan Nivoa 2 je Mac Mini M4 Pro sa šezdeset četiri gigabajta objedinjene memorije. Proizvodi jedanaest do dvanaest tokena u sekundi na modelu od trideset i dve milijarde: sporije od Nvidije, ali potpuno tiho na trideset vati sa prostorom za ogroman kontekstni prozor. Nivo 3 je entuzijastična klasa za rojeve sa više agenata. Na PC-u, to znači RTX 4090 sa dvadeset četiri gigabajta,

3:57 Ryzen 9 i sto dvadeset osam gigabajta RAM-a, ili dva RTX 3090-ice koja pružaju četrdeset osam gigabajta ukupnog VRAM-a. U Apple-ovoj ponudi, ovo je Mac Studio Ultra sa devedeset šest do sto i dvadeset osam gigabajta objedinjene memorije. Super moć je memorijska rezidencija: možete držati embedding model, brzi ruter i 32-milijardni model za kodiranje istovremeno učitane sa nula kašnjenja zamene. Sada, za iskren neuspeh našeg terenskog testa: zamka „edge computinga“.

4:24 Svake nedelje se na društvenim mrežama tvrdi da možete pokretati autonomne agente za kodiranje na Raspberry Pi 5 od osamdeset dolara. Testirao sam. Pokretanje sićušnog modela sa milijardu i po parametara daje vam jedva tri tokena u sekundi dok ploča guši na osamdeset pet stepeni Celzijusa. To je zanimljiva igračka za vikend, ali kao svakodnevni alat za razvoj, to je čista kazna. Za softver, koristite Ollamu ako želite čist daemon komandne linije koji se povezuje

4:47 direktno sa Cursor, Cline ili VS Code. Ako želite grafičko igralište sa preuzimanjem modela i klizačima GPU slojeva, koristite LM Studio. I uskladite svoj format sa svojim silicijumom. Na Apple Silicon-u, uvek preuzimajte GGUF modele optimizovane za Metal. Na Windowsu ili Linuxu sa Nvidijom, preuzmite AWQ ili EXL2 modele, koji koriste Nvidia Tensor Cores za dvadeset do trideset procenata bržu inferenciju. Dakle, kako ovo primeniti a da ne bankrotirate?

5:11 Razmislite o lokalnom hardveru kao o kućnoj teretani naspram komercijalne teretane. Imati stalak za čučnjeve kod kuće znači da trenirate svaki dan bez putovanja, bez pretplate i sa potpunom privatnošću. Vaša lokalna mašina obavlja osamdeset procenata vašeg svakodnevnog kodiranja, jediničnog testiranja i obrade privatnih dokumenata za nula dolara po tokenu. A kada trebate da podignete pet stotina funti — kao masivna arhitektonska refaktorizacija repozitorijuma preko pedeset fajlova — posetite komercijalnu teretanu: platite cloud API za Claude 3.5 Sonnet ili OpenAI o3 na petnaest minuta

5:38 i nastavite dalje. Evo računa: konfiguracija Nivoa 2 sa korišćenom 3090 košta šesnaest stotina dolara ukupno. Ako trošite pedeset do sto dolara mesečno na API tokene, isplati se za osamnaest meseci dok vaša vlasnička baza koda ostaje van servera trećih strana. Današnja presuda terenskog testa: SHIP IT. VRAM i propusni opseg memorije uvek pobeđuju taktne brzine. Prestanite da kupujete procesore od pet gigaherca za AI i pronađite korišćenu 3090.

6:04 Recite mi koju hardversku konfiguraciju koristite za lokalne modele u komentarima. A ako biste radije pročitali ovu analizu, preuzmite bilten na the daily diff dot dev, link ispod. I to je razlika za danas. Ja sam Niko iz Axrisija. Spajajte odgovorno.

Izvori

1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
4. Ollama Model Library & Benchmarksollama.com
5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org