# Kohaliku tehisintellekti riistvara juhend (2026)

Published: 2026-09-14

Kohalike tehisintellekti agentide ja avatud kaaluga suurte keelemudelite masinat ehitades teevad arendajad vea, ostes mänguarvuti spetsifikatsioone: 5,8 GHz protsessorid, kohandatud vedelikjahutussüsteemid ja kiired mängu-GPU-d, millel on vaid 8 GB VRAM-i. Kuid autoregressiivne märgi genereerimine on mälu ribalaiuse, mitte arvutuse piiratud: ühe märgi väljastamiseks peab iga mudeli kaal voolama läbi mälu siini. Kui teie kaalud või KV vahemälu kontekst ületavad füüsilise VRAM-i, laadib käituskeskkond kihid PCIe kaudu süsteemi DDR5-le ja te tabate 20-kordset mälu ribalaiuse langust: kiirus langeb 40 märgi sekundis 1,5-le. Selles välikatses lahutab Niko lahti riistvara mehaanika, 4-bitise kvantifitseerimismudeli suuruse reeglid, kolm reaalset eelarvetaset 1200 dollarist 5000 dollarini, miks kasutatud RTX 3090 24 GB on parim VRAM-i suhe hinna ja kvaliteedi osas, Raspberry Pi äärepeal langev lõks ja koduse jõusaali strateegia kohaliku versus pilve järelduste tegemiseks. Otsus: SHIP IT.

Canonical: https://thedailydiff.dev/et/video/2026-09-14-local-ai-hardware/

## Mida see video hõlmab

- 20-kordne mälu ribalaiuse langus: 936 GB/s GDDR6X versus 50 GB/s DDR5 ja 31,5 GB/s PCIe
- Mudeli suurus @ 4-bitine: 8B (5 GB), 14B (10 GB), 32B (20 GB), 70B (40 GB)
- Tase 1 (1200–1500 dollarit): RTX 4060 Ti 16 GB (mitte kunagi 8 GB) või Mac Mini 16 GB
- Tase 2 (1500–2000 dollarit): Kasutatud RTX 3090 24 GB parim valik või Mac Mini M4 Pro 64 GB
- Tase 3 (3500$+): RTX 4090 24 GB / kaks 3090 või Mac Studio Ultra

## Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

0:00 Kui plaanite ehitada arvutit kohalike tehisintellekti agentide käivitamiseks, lõpetage mänguarvuti ehitamine. Teil pole vaja 5,8 gigahertsi Core i9, vedelikjahutust, ega kaheksa gigabaidist RGB-ga kaetud graafikakaarti. Kohaliku tehisintellekti järelduste tegemisel on mängude spetsifikatsioonid praktiliselt kasutud. Ainus mõõdik, mis määrab, kas teie agent töötab või roomab, on VRAM-i maht ja mälu siini ribalaius. Riistvaratesti reeglid: unustage protsessori taktsagedused ja rasteriseerimise võrdlusalused.

0:24 Meid huvitab kolm numbrit: mälu siini laius, ribalaius gigabaitides sekundis ja puhas VRAM-i varu KV vahemälu paisumiseks. Selles välikatses selgitan ma kahekümnekordset mälu ribalaiuse langust, kaardistan mudeli suuruse reeglid, võrdlen kolme reaalset taset kahesajast dollarist viie tuhandeni ja selgitan, miks kasutatud 3090 on endiselt arvutite suurim pettuskood. See on The Daily Diff, välikatse. Et mõista, miks mänguarvutid ebaõnnestuvad, vaatleme, kuidas märgi genereerimine tegelikult toimub. Mängudes annab teie protsessor joonistuskutsed ja teie GPU renderdab kaadreid.

0:54 Kuid autoregressiivne suurte keelemudelite dekodeerimine on peaaegu puhtalt mälu ribalaiuse piiratud. Ühe märgi genereerimiseks peab GPU voogesitama kõik mudeli kaaluparameetrid mälust läbi oma arvutussüdamike. Kui teie mudel on kümme gigabaiti, tähendab ühe märgi loomine kümne gigabaidi andmete lugemist. Nvidia RTX 3090-l, millel on 384-bitine mälu siin, saate 936 gigabaiti sekundis GDDR6X ribalaiust, tootes kaheksakümmend märki sekundis. Kuid vaadake, mis juhtub millisekundi jooksul, kui teie mudel ületab füüsilise VRAM-i.

1:22 Kui VRAM täitub, laadib käituskeskkond ülejäänud kihid üle PCIe siini süsteemi DDR5 mällu. Teie GPU südamikud ootavad tuhat gigabaiti sekundis. Selle asemel annab kahekordne DDR5 neile viiskümmend ja PCIe 4 lämbub kolmekümne ühega. See on kahekümnekordne ribalaiuse kokkuvarisemine. Märgi genereerimise torujuhe seiskub koheselt, oodates siini, ja kiirus langeb neljakümnelt märgi sekundis ühele koma viiele. Olete muutnud kahe tuhande dollari seadme ruumiküttekehaks.

1:47 Ja see läheb hullemaks mitmekordsete agentide käituste ajal, sest kaalud on vaid pool lahingust. Iga viip, tööriistakutse ja failitükk salvestatakse võtme-väärtus vahemällu. Kolmkümmend kaks kilobaiti kontekstiakent võib lisaks kaaludele kulutada neli kuni kaheksa gigabaiti VRAM-i. Kui teie kaardil on ainult kuusteist gigabaiti, siis teie agent kordab tsüklit kaks korda, tabab konteksti piiri ja kas jookseb kokku mälupuuduse veaga või valgub DDR5-sse. Siin on nelja-bitise suuruse petuleht. Seitsme või kaheksa miljardi parameetriga mudel, nagu Llama 3.1 või DeepSeek Distill,

2:16 võtab umbes viis gigabaiti. Neljateistkümne miljardi parameetriga mudel võtab kümme gigabaiti. Kolmekümne kahe miljardi parameetriga mudel, koodiagentide intelligentsuse "sweet spot", vajab kakskümmend gigabaiti. Ja seitsekümne miljardi piirimudel nõuab nelikümmend gigabaiti, enne kui te üldse konteksti eraldate. Mis toob meid tegelike riistvarakomplektide juurde. Tase 1 on algkomplekt, kaksteist kuni viisteist sada dollarit. PC-l on teie ankur RTX 4060 Ti 16-gigabaidine.

2:39 Kriitiline hoiatus: ärge kunagi ostke kaheksa-gigabaidist versiooni, et säästa seitsekümmend dollarit. Kaheksa gigabaiti VRAM-i 2026. aastal on kohene mälupuuduse surmaotsus mis tahes tegelikus agendi töövoos. Ühendage see kuue tuumaga Ryzen 5-ga, kuuekümne nelja gigabaidi DDR5-ga ja kahe terabaidise NVMe-kettaga. Apple'i maal on samaväärne Mac Mini või MacBook Pro kuusteist gigabaidi ühendatud mäluga.

3:02 Näete kaheksa miljardi parameetriga mudelitel nelikümmend kuni viiskümmend märki sekundis. Tase 2 on edasijõudnutele parim koht: ehitamine spetsiaalselt kolmekümne kahe miljardi parameetriga mudelite, nagu Qwen 2.5 32B, käivitamiseks. Tee A on uus RTX 4070 Ti Super kuusteist gigabaiti kaheksasaja dollari eest. Kuid tee B on minu kindel soovitus: ostke kasutatud Nvidia RTX 3090 kakskümmend neli gigabaiti. Puhtaid 3090-sid leiate eBays kuuesaja viiekümne kuni seitsmesaja viiekümne dollari eest. See annab teile kakskümmend neli gigabaiti VRAM-i massiivsel 384-bitisel siinil, mis annab

3:33 936 gigabaiti sekundis. Dollar dollari vastu on see parim VRAM-i tehing arvutimaailmas. macOS-is on 2. taseme vaste Mac Mini M4 Pro kuuekümne nelja gigabaidi ühtse mäluga. See toodab kolmekümne kahe miljardi parameetriga mudelil üksteist kuni kaksteist märki sekundis: aeglasem kui Nvidia, kuid täiesti vaikne kolmekümne vatti juures, pakkudes ruumi hiiglaslikule kontekstiaknale. Tase 3 on entusiastide kategooria mitme agenti parvedele. PC-l tähendab see RTX 4090 kakskümmend neli gigabaiti,

3:57 Ryzen 9 ja sada kakskümmend kaheksa gigabaiti RAM-i, või kaks RTX 3090, mis pakuvad kokku nelikümmend kaheksa gigabaiti VRAM-i. Apple'i tootevalikus on see Mac Studio Ultra, millel on üheksakümmend kuus kuni sada kakskümmend kaheksa gigabaiti ühtset mälu. Ülivõime on mäluresidentsus: saate hoida manustamismudelit, kiiret ruuterit ja 32-miljardilist koodimudelit laadituna samaaegselt null vahetusviivitusega. Nüüd aga meie välikatse ausa ebaõnnestumise juurde: ääreala arvutuse lõks.

4:24 Igal nädalal väidab sotsiaalmeedia postitus, et saate käivitada autonoomseid koodiagente kaheksakümne dollari maksumusega Raspberry Pi 5-l. Ma katsetasin seda. Väikese, pooleteise miljardi parameetriga mudeli käitamine annab teile vaevu kolm märki sekundis, samal ajal kui plaat lämbub kaheksakümne viie Celsiuse kraadi juures. See on tore nädalavahetuse mänguasi, kuid igapäevase arendustöövahendina on see puhas piin. Tarkvara jaoks kasutage Ollama't, kui soovite puhast käsurea deemonit, mis ühendub

4:47 otse Cursoriga, Cline'iga või VS Code'iga. Kui soovite graafilist mänguväljakut koos mudelite allalaadimise ja GPU kihtide liuguritega, kasutage LM Studiot. Ja sobitage oma formaat oma räniga. Apple Siliconil laadige alati alla Metalile optimeeritud GGUF mudelid. Windowsis või Linuxis Nvidia'ga laadige alla AWQ või EXL2 mudelid, mis kasutavad Nvidia Tensor Cores'i kakskümmend kuni kolmkümmend protsenti kiirema järelduste tegemise jaoks. Kuidas seda siis rakendada ilma pankrotti minemata?

5:11 Mõelge kohalikule riistvarale kui kodusele jõusaalile versus kommertsjõusaalile. Kükiraua olemasolu kodus tähendab, et treenite iga päev ilma pendelrändeta, ilma liitumistasudeta ja täieliku privaatsusega. Teie kohalik masin käsitleb kaheksakümmend protsenti teie igapäevasest kodeerimisest, ühikutestimisest ja privaatsest dokumenditöötlusest null dollari eest märgi kohta. Ja kui teil on vaja tõsta viissada naela – näiteks massiivne hoidlapõhine arhitektuuri ümberkujundamine viiekümne faili ulatuses – külastate kommertsjõusaali: makske pilve API-le Claude 3.5 Sonneti või OpenAI o3 eest viisteist minutit

5:38 ja minge edasi. Siin on arve: 2. taseme ehitus koos kasutatud 3090-ga maksab kokku kuusteist sada dollarit. Kui kulutate viiskümmend kuni sada dollarit kuus API märkidele, maksab see end ära kaheksateistkümne kuuga, hoides samal ajal teie omandiõigusega koodibaasi kolmanda osapoole serveritest eemal. Tänase välikatse otsus: SHIP IT. VRAM ja mälu ribalaius võidavad alati taktsagedusi. Lõpetage viie gigahertsi protsessorite ostmine tehisintellekti jaoks ja leidke kasutatud 3090.

6:04 Öelge mulle kommentaarides, millist riistvara ehitust te kohalike mudelite jaoks kasutate. Ja kui eelistate seda jaotust lugeda, siis haarake uudiskiri aadressilt the daily diff dot dev, link allpool. Ja see on tänane vahe. Mina olen Niko Axrisist. Ühendage vastutustundlikult.

## Allikad

- [Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PC](https://axrisi.com/) — axrisi.com
- [NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)](https://www.nvidia.com/) — www.nvidia.com
- [llama.cpp Memory Bandwidth & Offloading Architecture](https://github.com/ggerganov/llama.cpp) — github.com
- [Ollama Model Library & Benchmarks](https://ollama.com/) — ollama.com
- [vLLM PagedAttention & KV Cache Memory Management](https://github.com/vllm-project/vllm) — github.com
- [JEDEC DDR5 Memory Standard Specifications](https://www.jedec.org/) — www.jedec.org