+− THE DAILY DIFFdev & AI news
SHIP IT

Kohaliku tehisintellekti riistvara juhend (2026)

Kohalike tehisintellekti agentide ja avatud kaaluga suurte keelemudelite masinat ehitades teevad arendajad vea, ostes mänguarvuti spetsifikatsioone: 5,8 GHz protsessorid, kohandatud vedelikjahutussüsteemid ja kiired mängu-GPU-d, millel on vaid 8 GB VRAM-i.

Want to see our stories first on Google? Add us to your preferred sources — it helps us grow.

Kohalike tehisintellekti agentide ja avatud kaaluga suurte keelemudelite masinat ehitades teevad arendajad vea, ostes mänguarvuti spetsifikatsioone: 5,8 GHz protsessorid, kohandatud vedelikjahutussüsteemid ja kiired mängu-GPU-d, millel on vaid 8 GB VRAM-i. Kuid autoregressiivne märgi genereerimine on mälu ribalaiuse, mitte arvutuse piiratud: ühe märgi väljastamiseks peab iga mudeli kaal voolama läbi mälu siini. Kui teie kaalud või KV vahemälu kontekst ületavad füüsilise VRAM-i, laadib käituskeskkond kihid PCIe kaudu süsteemi DDR5-le ja te tabate 20-kordset mälu ribalaiuse langust: kiirus langeb 40 märgi sekundis 1,5-le. Selles välikatses lahutab Niko lahti riistvara mehaanika, 4-bitise kvantifitseerimismudeli suuruse reeglid, kolm reaalset eelarvetaset 1200 dollarist 5000 dollarini, miks kasutatud RTX 3090 24 GB on parim VRAM-i suhe hinna ja kvaliteedi osas, Raspberry Pi äärepeal langev lõks ja koduse jõusaali strateegia kohaliku versus pilve järelduste tegemiseks. Otsus: SHIP IT.

Loe kirjalikku väljaannet (inglise keeles) ↗

Mida see video hõlmab

  • 20-kordne mälu ribalaiuse langus: 936 GB/s GDDR6X versus 50 GB/s DDR5 ja 31,5 GB/s PCIe
  • Mudeli suurus @ 4-bitine: 8B (5 GB), 14B (10 GB), 32B (20 GB), 70B (40 GB)
  • Tase 1 (1200–1500 dollarit): RTX 4060 Ti 16 GB (mitte kunagi 8 GB) või Mac Mini 16 GB
  • Tase 2 (1500–2000 dollarit): Kasutatud RTX 3090 24 GB parim valik või Mac Mini M4 Pro 64 GB
  • Tase 3 (3500$+): RTX 4090 24 GB / kaks 3090 või Mac Studio Ultra

Küsimused ja vastused

Miks on lokaalselt LLM-ide käitamiseks mälu ribalaius olulisem kui protsessori kiirus?

Teksti genereerimist piirab see, kui kiiresti mudeli kaalusid mälust lugeda saab. Episoodis selgitatakse, et ühe märgi genereerimiseks peab GPU voogedastama kõik mudeli kaalud läbi oma arvutusüdamike, nii et kümne gigabaidine mudel tähendab kümne gigabaidi lugemist märgi kohta. 384-bitise siiniga RTX 3090 pakub 936 GB/s GDDR6X ribalaiust, mida protsessori taktsagedused muuta ei saa.

www.nvidia.com · github.com

Mis juhtub kohaliku LLM-i kiirusega, kui mudel ei mahu GPU VRAM-i?

Kiirus langeb, sest ülejäänud kihid loetakse üle PCIe siini süsteemimälust. Episood võrdleb 936 GB/s GDDR6X-i umbes 50 GB/s-ga kahekanalilise DDR5 puhul ja 31.5 GB/s-ga PCIe puhul, mis on 20-kordne langus. Näiteks langes genereerimine 40 märgist sekundis 1.5-le.

github.com · www.jedec.org

Kui palju VRAM-i vajavad 4-bitised kvantiseeritud avatud kaaluga mudelid?

4-bitisena annab episood järgmised ligikaudsed kaalude suurused. 8B mudel võtab umbes 5 GB, 14B mudel umbes 10 GB, 32B mudel umbes 20 GB ja 70B mudel umbes 40 GB. Need arvud hõlmavad ainult kaalusid. Pikk kontekst täidab ka võtme-väärtuste vahemälu, mis episoodi kohaselt võib 32 000 märgi akna puhul võtta neli kuni kaheksa gigabaiti.

ollama.com · github.com

Kas kasutatud RTX 3090 on endiselt hea GPU kohaliku AI jaoks?

Episood soovitab seda Tier 2 ehituseks, sest see pakub kakskümmend neli gigabaiti VRAM-i 384-bitisel siinil kiirusega 936 GB/s, mida see nimetab parimaks VRAM-i dollaripõhiseks pakkumiseks arvutuses. Episood hindab Tier 2 ehituse koos kasutatud 3090-ga kuusteistkümmend sada dollarit kokku. Samuti öeldakse, et mitte kunagi ei tohiks osta RTX 4060 Ti 8GB versiooni.

www.nvidia.com · axrisi.com

Kas arendajad peaksid ehitama mänguarvuti kohalike AI agentide käitamiseks?

The Daily Diff'i otsus oli SHIP IT VRAM-i ostmiseks mänguspetsifikatsioonide asemel. Episoodis öeldakse, et VRAM ja mälu ribalaius võidavad taktsagedusi igal ajal ja soovitatakse igapäevast kodeerimist ja privaatsete dokumentidega töötamist käitada lokaalselt, saates suured refaktorid pilve API-le. Hinnanguliselt tasub Tier 2 ehitus end ära kaheksateistkümne kuu jooksul 50–100 dollari suuruse API kuluga kuus.

axrisi.com · www.nvidia.com

Tõlgitud transkriptsioon

Tõlgitud ingliskeelsest originaaljutustusest. Saadaolevat heli ja subtiitreid kontrollib YouTube.

0:00 Kui plaanite ehitada arvutit kohalike tehisintellekti agentide käivitamiseks, lõpetage mänguarvuti ehitamine. Teil pole vaja 5,8 gigahertsi Core i9, vedelikjahutust, ega kaheksa gigabaidist RGB-ga kaetud graafikakaarti. Kohaliku tehisintellekti järelduste tegemisel on mängude spetsifikatsioonid praktiliselt kasutud. Ainus mõõdik, mis määrab, kas teie agent töötab või roomab, on VRAM-i maht ja mälu siini ribalaius. Riistvaratesti reeglid: unustage protsessori taktsagedused ja rasteriseerimise võrdlusalused.

0:24 Meid huvitab kolm numbrit: mälu siini laius, ribalaius gigabaitides sekundis ja puhas VRAM-i varu KV vahemälu paisumiseks. Selles välikatses selgitan ma kahekümnekordset mälu ribalaiuse langust, kaardistan mudeli suuruse reeglid, võrdlen kolme reaalset taset kahesajast dollarist viie tuhandeni ja selgitan, miks kasutatud 3090 on endiselt arvutite suurim pettuskood. See on The Daily Diff, välikatse. Et mõista, miks mänguarvutid ebaõnnestuvad, vaatleme, kuidas märgi genereerimine tegelikult toimub. Mängudes annab teie protsessor joonistuskutsed ja teie GPU renderdab kaadreid.

0:54 Kuid autoregressiivne suurte keelemudelite dekodeerimine on peaaegu puhtalt mälu ribalaiuse piiratud. Ühe märgi genereerimiseks peab GPU voogesitama kõik mudeli kaaluparameetrid mälust läbi oma arvutussüdamike. Kui teie mudel on kümme gigabaiti, tähendab ühe märgi loomine kümne gigabaidi andmete lugemist. Nvidia RTX 3090-l, millel on 384-bitine mälu siin, saate 936 gigabaiti sekundis GDDR6X ribalaiust, tootes kaheksakümmend märki sekundis. Kuid vaadake, mis juhtub millisekundi jooksul, kui teie mudel ületab füüsilise VRAM-i.

1:22 Kui VRAM täitub, laadib käituskeskkond ülejäänud kihid üle PCIe siini süsteemi DDR5 mällu. Teie GPU südamikud ootavad tuhat gigabaiti sekundis. Selle asemel annab kahekordne DDR5 neile viiskümmend ja PCIe 4 lämbub kolmekümne ühega. See on kahekümnekordne ribalaiuse kokkuvarisemine. Märgi genereerimise torujuhe seiskub koheselt, oodates siini, ja kiirus langeb neljakümnelt märgi sekundis ühele koma viiele. Olete muutnud kahe tuhande dollari seadme ruumiküttekehaks.

1:47 Ja see läheb hullemaks mitmekordsete agentide käituste ajal, sest kaalud on vaid pool lahingust. Iga viip, tööriistakutse ja failitükk salvestatakse võtme-väärtus vahemällu. Kolmkümmend kaks kilobaiti kontekstiakent võib lisaks kaaludele kulutada neli kuni kaheksa gigabaiti VRAM-i. Kui teie kaardil on ainult kuusteist gigabaiti, siis teie agent kordab tsüklit kaks korda, tabab konteksti piiri ja kas jookseb kokku mälupuuduse veaga või valgub DDR5-sse. Siin on nelja-bitise suuruse petuleht. Seitsme või kaheksa miljardi parameetriga mudel, nagu Llama 3.1 või DeepSeek Distill,

2:16 võtab umbes viis gigabaiti. Neljateistkümne miljardi parameetriga mudel võtab kümme gigabaiti. Kolmekümne kahe miljardi parameetriga mudel, koodiagentide intelligentsuse "sweet spot", vajab kakskümmend gigabaiti. Ja seitsekümne miljardi piirimudel nõuab nelikümmend gigabaiti, enne kui te üldse konteksti eraldate. Mis toob meid tegelike riistvarakomplektide juurde. Tase 1 on algkomplekt, kaksteist kuni viisteist sada dollarit. PC-l on teie ankur RTX 4060 Ti 16-gigabaidine.

2:39 Kriitiline hoiatus: ärge kunagi ostke kaheksa-gigabaidist versiooni, et säästa seitsekümmend dollarit. Kaheksa gigabaiti VRAM-i 2026. aastal on kohene mälupuuduse surmaotsus mis tahes tegelikus agendi töövoos. Ühendage see kuue tuumaga Ryzen 5-ga, kuuekümne nelja gigabaidi DDR5-ga ja kahe terabaidise NVMe-kettaga. Apple'i maal on samaväärne Mac Mini või MacBook Pro kuusteist gigabaidi ühendatud mäluga.

3:02 Näete kaheksa miljardi parameetriga mudelitel nelikümmend kuni viiskümmend märki sekundis. Tase 2 on edasijõudnutele parim koht: ehitamine spetsiaalselt kolmekümne kahe miljardi parameetriga mudelite, nagu Qwen 2.5 32B, käivitamiseks. Tee A on uus RTX 4070 Ti Super kuusteist gigabaiti kaheksasaja dollari eest. Kuid tee B on minu kindel soovitus: ostke kasutatud Nvidia RTX 3090 kakskümmend neli gigabaiti. Puhtaid 3090-sid leiate eBays kuuesaja viiekümne kuni seitsmesaja viiekümne dollari eest. See annab teile kakskümmend neli gigabaiti VRAM-i massiivsel 384-bitisel siinil, mis annab

3:33 936 gigabaiti sekundis. Dollar dollari vastu on see parim VRAM-i tehing arvutimaailmas. macOS-is on 2. taseme vaste Mac Mini M4 Pro kuuekümne nelja gigabaidi ühtse mäluga. See toodab kolmekümne kahe miljardi parameetriga mudelil üksteist kuni kaksteist märki sekundis: aeglasem kui Nvidia, kuid täiesti vaikne kolmekümne vatti juures, pakkudes ruumi hiiglaslikule kontekstiaknale. Tase 3 on entusiastide kategooria mitme agenti parvedele. PC-l tähendab see RTX 4090 kakskümmend neli gigabaiti,

3:57 Ryzen 9 ja sada kakskümmend kaheksa gigabaiti RAM-i, või kaks RTX 3090, mis pakuvad kokku nelikümmend kaheksa gigabaiti VRAM-i. Apple'i tootevalikus on see Mac Studio Ultra, millel on üheksakümmend kuus kuni sada kakskümmend kaheksa gigabaiti ühtset mälu. Ülivõime on mäluresidentsus: saate hoida manustamismudelit, kiiret ruuterit ja 32-miljardilist koodimudelit laadituna samaaegselt null vahetusviivitusega. Nüüd aga meie välikatse ausa ebaõnnestumise juurde: ääreala arvutuse lõks.

4:24 Igal nädalal väidab sotsiaalmeedia postitus, et saate käivitada autonoomseid koodiagente kaheksakümne dollari maksumusega Raspberry Pi 5-l. Ma katsetasin seda. Väikese, pooleteise miljardi parameetriga mudeli käitamine annab teile vaevu kolm märki sekundis, samal ajal kui plaat lämbub kaheksakümne viie Celsiuse kraadi juures. See on tore nädalavahetuse mänguasi, kuid igapäevase arendustöövahendina on see puhas piin. Tarkvara jaoks kasutage Ollama't, kui soovite puhast käsurea deemonit, mis ühendub

4:47 otse Cursoriga, Cline'iga või VS Code'iga. Kui soovite graafilist mänguväljakut koos mudelite allalaadimise ja GPU kihtide liuguritega, kasutage LM Studiot. Ja sobitage oma formaat oma räniga. Apple Siliconil laadige alati alla Metalile optimeeritud GGUF mudelid. Windowsis või Linuxis Nvidia'ga laadige alla AWQ või EXL2 mudelid, mis kasutavad Nvidia Tensor Cores'i kakskümmend kuni kolmkümmend protsenti kiirema järelduste tegemise jaoks. Kuidas seda siis rakendada ilma pankrotti minemata?

5:11 Mõelge kohalikule riistvarale kui kodusele jõusaalile versus kommertsjõusaalile. Kükiraua olemasolu kodus tähendab, et treenite iga päev ilma pendelrändeta, ilma liitumistasudeta ja täieliku privaatsusega. Teie kohalik masin käsitleb kaheksakümmend protsenti teie igapäevasest kodeerimisest, ühikutestimisest ja privaatsest dokumenditöötlusest null dollari eest märgi kohta. Ja kui teil on vaja tõsta viissada naela – näiteks massiivne hoidlapõhine arhitektuuri ümberkujundamine viiekümne faili ulatuses – külastate kommertsjõusaali: makske pilve API-le Claude 3.5 Sonneti või OpenAI o3 eest viisteist minutit

5:38 ja minge edasi. Siin on arve: 2. taseme ehitus koos kasutatud 3090-ga maksab kokku kuusteist sada dollarit. Kui kulutate viiskümmend kuni sada dollarit kuus API märkidele, maksab see end ära kaheksateistkümne kuuga, hoides samal ajal teie omandiõigusega koodibaasi kolmanda osapoole serveritest eemal. Tänase välikatse otsus: SHIP IT. VRAM ja mälu ribalaius võidavad alati taktsagedusi. Lõpetage viie gigahertsi protsessorite ostmine tehisintellekti jaoks ja leidke kasutatud 3090.

6:04 Öelge mulle kommentaarides, millist riistvara ehitust te kohalike mudelite jaoks kasutate. Ja kui eelistate seda jaotust lugeda, siis haarake uudiskiri aadressilt the daily diff dot dev, link allpool. Ja see on tänane vahe. Mina olen Niko Axrisist. Ühendage vastutustundlikult.

Allikad

  1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
  2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
  3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
  4. Ollama Model Library & Benchmarksollama.com
  5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
  6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org

Niko from Axrisi

Nikoloz Turazashvili · Vexrail · Axrisi

LinkedIn · dev.to · GitHub · X · Substack

Seotud videod