# Локални АИ хардверски водич (2026)

Published: 2026-09-14

Приликом изградње машине за локалне АИ агенте и ЛЛМ-ове отвореног кода, програмери праве грешку купујући спецификације за гејмерске рачунаре: ЦПУ-ове од 5,8 ГХз, прилагођене системе за течно хлађење и брзе гејмерске ГПУ-ове са само 8 ГБ ВРАМ-а. Али ауторегресивно генерисање токена је ограничено пропусном моћи меморије, а не рачунском снагом: да би се емитовао један токен, свака тежина у моделу мора проћи кроз меморијску магистралу. Када ваши тежини или КВ кеш контекст премаше физички ВРАМ, рунтајм премешта слојеве у системски ДДР5 преко ПЦИе-а, и наилазите на 20 пута већу разлику у пропусној моћи меморије: брзина опада са 40 токена у секунди на 1,5. У овом теренском тесту, Нико објашњава хардверске механике, правила димензионисања 4-битних квантизованих модела, три стварна буџетска нивоа од 1.200 до 5.000 долара, зашто је половна РТX 3090 24ГБ најбоља понуда ВРАМ-а по долару у рачунарству, замку Рачунара на ивици (Raspberry Pi edge trap), и стратегију кућне теретане за локално наспрам облачног закључивања. Пресуда: SHIP IT.

Canonical: https://thedailydiff.dev/sr/video/2026-09-14-local-ai-hardware/

## Шта овај видео покрива

- 20 пута мања пропусна моћ меморије: 936 ГБ/с ГДДР6X наспрам 50 ГБ/с ДДР5 и 31,5 ГБ/с ПЦИе
- Димензионисање модела @ 4-бита: 8Б (5ГБ), 14Б (10ГБ), 32Б (20ГБ), 70Б (40ГБ)
- Ниво 1 (1.200–1.500 долара): РТX 4060 Ти 16ГБ (никада 8ГБ) или Мак Мини 16ГБ
- Ниво 2 (1.500–2.000 долара): Половна РТX 3090 24ГБ као најбоља опција или Мак Мини М4 Про 64ГБ
- Ниво 3 (3.500$+): РТX 4090 24ГБ / две 3090 или Мак Студио Ултра

## Преведени транскрипт

Преведено са оригиналне енглеске нарације. Доступни аудио и титлови контролисани су од стране YouTube-а.

0:00 Ако планирате да саставите рачунар за покретање локалних АИ агената, престаните да правите гејмерски риг. Не треба вам Цоре и9 од пет тачка осам гигахерца, систем за течно хлађење, или графичка картица од осам гигабајта прекривена РГБ осветљењем. У локалном АИ закључивању, гејмерске спецификације су практично бескорисне. Једина метрика која диктира да ли ваш агент ради или пузи је капацитет ВРАМ-а и пропусна моћ меморијске магистрале. Правила хардверског теста: заборавите на ЦПУ тактове и бенчмаркове растерске графике.

0:24 Важна су нам три броја: ширина меморијске магистрале, пропусна моћ у гигабајтима у секунди, и чист ВРАМ простор за КВ кеш. У овом теренском тесту, објаснићу двадесет пута мању пропусну моћ меморије, мапирати правила димензионисања модела, бенчмарковати три стварна нивоа од хиљаду двеста долара до пет хиљада, и објаснити зашто је половна 3090 и даље најбољи „чит код“ у рачунарству. Ово је The Daily Diff, теренски тест. Да бисте разумели зашто гејмерски ригови не успевају, погледајте како се стварно извршава генерисање токена. У играма, ваш ЦПУ храни позиве за цртање, а ваш ГПУ рендерује фрејмове.

0:54 Али ауторегресивно ЛЛМ декодирање је готово чисто ограничено пропусном моћи меморије. Да би генерисао један токен, ГПУ мора да стримује сваки параметар тежине модела из меморије кроз своја рачунарска језгра. Ако је ваш модел десет гигабајта, производња једног токена значи читање десет гигабајта података. На Нвидиа РТX 3090 са 384-битном меморијском магистралом, добијате 936 гигабајта у секунди ГДДР6X пропусности, производећи осамдесет токена у секунди. Али погледајте шта се дешава истог тренутка када ваш модел премаши физички ВРАМ.

1:22 Када се ВРАМ напуни, рунтајм премешта преостале слојеве преко ПЦИе магистрале у системску ДДР5 меморију. Ваша ГПУ језгра очекују хиљаду гигабајта у секунди. Уместо тога, двоканални ДДР5 им даје педесет, а ПЦИе 4 се гуши на тридесет један. То је двадесет пута већи пад пропусности. Пайплајн за генерисање токена одмах стаје чекајући на магистрали, и брзина опада са четрдесет токена у секунди на један тачка пет. Претворили сте риг од две хиљаде долара у грејач.

1:47 И постаје горе током вишеструких покретања агената, јер тежине су само пола битке. Сваки промпт, позив алата и део датотеке чувају се у Кеш-у кључа-вредности (Key-Value cache). Контекстни прозор од тридесет две хиљаде може потрошити четири до осам гигабајта ВРАМ-а поред тежина. Ако ваша картица има само шеснаест гигабајта, ваш агент се циклуси два пута, удара у зид контекста, и или се сруши са грешком недостатка меморије или се прелије у ДДР5. Ево листа са саветима за димензионисање 4-битних модела. Модел са седам или осам милијарди параметара као што је Llama 3.1 или DeepSeek Distill

2:16 заузима око пет гигабајта. Модел од четрнаест милијарди заузима десет гигабајта. Модел од тридесет две милијарде, најбоља интелигентна опција за агенте за кодирање, захтева двадесет гигабајта. И модел од седамдесет милијарди захтева четрдесет гигабајта пре него што уопште алоцирате контекст. Што нас доводи до стварних хардверских конфигурација. Ниво 1 је почетни риг, од хиљаду двеста до хиљаду петсто долара. На рачунару, ваше сидро је РТX 4060 Ти 16-гигабајтна.

2:39 Критично упозорење: никада не купујте осмогигабајтну верзију да бисте уштедели седамдесет долара. Осам гигабајта ВРАМ-а 2026. године је тренутна смртна казна због недостатка меморије на било ком стварном радном току агента. Упарите га са шестојезгарним Ryzen 5, шездесет четири гигабајта ДДР5, и НВМе диском од два терабајта. У свету Аппле-а, еквивалент је Мак Мини или МакБук Про са шеснаест гигабајта обједињене меморије.

3:02 Видећете четрдесет до педесет токена у секунди на моделима од осам милијарди. Ниво 2 је оптимална опција за напредне кориснике: прављење посебно за покретање модела са тридесет две милијарде параметара као што је Qwen 2.5 32B. Путања А је нови РТX 4070 Ти Супер са шеснаест гигабајта за осамсто долара. Али Путања Б је моја снажна препорука: купите половну Нвидиа РТX 3090 двадесет четири гигабајта. Чисте 3090-ице можете наћи на ЕБаи-у за шесто педесет до седамсто педесет долара. То вам даје двадесет четири гигабајта ВРАМ-а на масивној 384-битној магистрали која пропушта

3:33 936 гигабајта у секунди. Долар за долар, то је најбоља понуда ВРАМ-а у рачунарству. На мацОС-у, еквивалент Нивоа 2 је Мак Мини М4 Про са шездесет четири гигабајта обједињене меморије. Производи једанаест до дванаест токена у секунди на моделу од тридесет две милијарде: спорије од Нвидиа-е, али потпуно тих на тридесет вати са простором за гигантски контекстни прозор. Ниво 3 је ентузијастички ниво за ројеве вишеструких агената. На рачунару, то значи РТX 4090 са двадесет четири гигабајта,

3:57 Ryzen 9, и сто двадесет осам гигабајта РАМ-а, или две РТX 3090 које пружају четрдесет осам гигабајта укупног ВРАМ-а. У Аппле-овој понуди, ово је Мак Студио Ултра са деведесет шест до сто двадесет осам гигабајта обједињене меморије. Супермоћ је резиденција меморије: можете држати модел за уграђивање, брзи рутер и 32-милијардни модел за кодирање истовремено учитане без икаквог кашњења у пребацивању. А сада о искреном неуспеху нашег теренског теста: замка рачунарства на ивици (edge computing).

4:24 Сваке недеље друштвене мреже тврде да можете покретати аутономне агенте за кодирање на Raspberry Pi 5 од осамдесет долара. Тестирао сам то. Покретање малог модела са један тачка пет милијарди параметара даје вам једва три токена у секунди док се плоча гуши на осамдесет пет степени Целзијуса. То је лепа играчка за викенд, али као свакодневни развојни алат, то је чиста казна. За софтвер, користите Ollama ако желите чист демон командне линије који се повезује

4:47 директно на Cursor, Cline или VS Code. Ако желите графичко окружење са преузимањем модела и клизачима за ГПУ слојеве, користите LM Studio. И ускладите свој формат са својим силиконом. На Аппле Силикону, увек преузимајте ГГУФ моделе оптимизоване за Метал. На Виндовс-у или Линук-у са Нвидиа-ом, преузимајте АWQ или ЕXL2 моделе, који користе Нвидиа Тензор Цоре-ове за двадесет до тридесет процената брже закључивање. Па како ово применити, а да не банкротирате?

5:11 Размишљајте о локалном хардверу као о кућној теретани наспрам комерцијалне теретане. Имати сталак за чучање код куће значи да тренирате сваки дан без путовања, без претплата и са потпуном приватношћу. Ваш локални рачунар обавља осамдесет процената вашег свакодневног кодирања, јединичног тестирања и обраде приватних докумената за нула долара по токену. А када треба да подигнете петсто фунти – као масивно рефакторисање архитектуре на нивоу репозиторијума кроз педесет датотека – посетите комерцијалну теретану: платите cloud АПИ за Claude 3.5 Sonnet или OpenAI o3 на петнаест минута

5:38 и наставите даље. Ево рачуна: конфигурација Нивоа 2 са половном 3090 кошта хиљаду шестсто долара укупно. Ако трошите педесет до сто долара месечно на АПИ токене, исплатиће се за осамнаест месеци, док ће ваша власничка база кода остати ван сервера трећих страна. Данашња пресуда теренског теста: SHIP IT. ВРАМ и пропусна моћ меморије увек побеђују брзине такта. Престаните да купујете ЦПУ-ове од пет гигахерца за АИ, и нађите половну 3090.

6:04 Реците ми коју хардверску конфигурацију користите за локалне моделе у коментарима. А ако бисте радије прочитали ову анализу, претплатите се на билтен на daily diff dot dev, линк испод. И то је „разлика“ за данас (the diff for today). Ја сам Нико из Axrisi-ја. Спајајте одговорно (Merge responsibly).

## Извори

- [Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PC](https://axrisi.com/) — axrisi.com
- [NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)](https://www.nvidia.com/) — www.nvidia.com
- [llama.cpp Memory Bandwidth & Offloading Architecture](https://github.com/ggerganov/llama.cpp) — github.com
- [Ollama Model Library & Benchmarks](https://ollama.com/) — ollama.com
- [vLLM PagedAttention & KV Cache Memory Management](https://github.com/vllm-project/vllm) — github.com
- [JEDEC DDR5 Memory Standard Specifications](https://www.jedec.org/) — www.jedec.org