Vélbúnaðarleiðbeiningar fyrir staðbundna gervigreind (2026)

Það sem þetta myndband fjallar um

• 20x minnisbandbreiddarhraði: 936 GB/s GDDR6X vs 50 GB/s DDR5 & 31.5 GB/s PCIe
• Líkanaflokkun @ 4-bita: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
• Stig 1 ($1.200–$1.500): RTX 4060 Ti 16GB (aldrei 8GB) eða Mac Mini 16GB
• Stig 2 ($1.500–$2.000): Notuð RTX 3090 24GB besti kosturinn eða Mac Mini M4 Pro 64GB
• Stig 3 ($3.500+): RTX 4090 24GB / tvöföld 3090 eða Mac Studio Ultra

Þýtt afrit

Þýtt úr upprunalegri enskri frásögn. Tiltækt hljóð og textar eru stjórnaðir af YouTube.

0:00 Ef þú ætlar að byggja tölvu til að keyra staðbundna gervigreindarumboð, hættu að byggja leikjatölvu. Þú þarft ekki 5,8 gígahertz Core i9, vökvakælingu, eða átta gígabæta skjákort þakið RGB. Í staðbundnum gervigreindarútreikningum eru leikjaútgáfur nánast gagnslausar. Eina mælistikan sem ræður því hvort umboðið þitt keyrir eða skríður er VRAM afkastageta og minnisrásarbandbreidd. Reglur vélbúnaðarprófunar: gleymdu örgjörvahlutum og rasterization viðmiðum.

0:24 Okkur varðar um þrjár tölur: breidd minnisrásar, bandbreidd í gígabætum á sekúndu, og hrátt VRAM rými fyrir KV skyndiminnisaukningu. Í þessari vettvangsprófun mun ég sundurgreina tuttugufalt minnisbandbreiddarfjall, kortleggja reglur um líkanastærðir, prófa þrjú raunveruleg stig frá tólf hundruð dollurum til fimm þúsunda, og útskýra hvers vegna notuð 3090 er enn mesta svindlkóði tölvunarfræðinnar. Þetta er The Daily Diff, vettvangsprófun. Til að skilja hvers vegna leikjatölvur mistakast, skoðaðu hvernig tákngerð raunverulega framkvæmir. Í leikjum fæðir örgjörvinn þinn teiknbeiðnir og skjákortið þitt birtir ramma.

0:54 En sjálfvirkar LLM afkóðun er nánast eingöngu minnisbandbreiddar- bundin. Til að búa til eitt tákn verður skjákortið að streyma hverri þyngdarbreytu líkansins úr minni í gegnum útreikningskjarna sína. Ef líkanið þitt er tíu gígabæti, þýðir það að búa til eitt tákn að lesa tíu gígabæti af gögnum. Á Nvidia RTX 3090 með 384-bita minnisrás, færðu 936 gígabæti á sekúndu af GDDR6X bandbreidd, sem framleiðir áttatíu tákn á sekúndu. En fylgstu með því sem gerist þegar líkanið þitt fer yfir líkamlegt VRAM.

1:22 Þegar VRAM fyllist, flytja keyrslutímar eftirstandandi lög yfir PCIe rásina til DDR5 kerfisminnis. Skjákortskjarnarnir þínir búast við þúsund gígabætum á sekúndu. Í staðinn gefur tveggja rása DDR5 þeim fimmtíu, og PCIe 4 kæfir við þrjátíu og einn. Það er tuttugufalt bandbreiddarhrun. Tákngerðarleiðslan stöðvast samstundis í bið eftir rásinni, og hraðinn lækkar úr fjörutíu táknum á sekúndu niður í eitt og hálft. Þú hefur breytt tveggja þúsund dollara tölvu í ofn.

1:47 Og það versnar við margra-skipta umboð keyrslur, því gildi eru aðeins hálf baráttan. Sérhver hvatning, tólabeiðni og skráarhluti er geymdur í Key-Value skyndiminni. Þrjátíu og tveggja k samhengisgluggi getur eytt fjórum til átta gígabætum af VRAM ofan á gildunum. Ef kortið þitt hefur aðeins sextán gígabæti, lykkjur umboðið þitt tvisvar, rekur sig á samhengismúrinn, og annaðhvort hrynur með minnisþrotvillu eða hellist í DDR5. Hér er fjögurra-bita stærðar svindlblaðið. Sjö eða átta milljarða breyta líkan eins og Llama 3.1 eða DeepSeek Distill

2:16 tekur um fimm gígabæti. Fjórtán milljarða líkan tekur tíu gígabæti. Þrjátíu og tveggja milljarða líkan, sætur punktur greindrar fyrir kóðunarumboð, krefst tuttugu gígabæta. Og sjötíu milljarða framlínulíkan krefst fjörutíu gígabæta áður en þú jafnvel úthlutar samhengi. Sem færir okkur að raunverulegum vélbúnaðaruppbyggingum. Stig 1 er byrjendavél, tólf hundruð til fimmtán hundruð dollara. Á tölvu er akkeri þitt RTX 4060 Ti 16-gígabæta.

2:39 Mikilvæg viðvörun: aldrei kaupa átta gígabæta útgáfuna til að spara sjötíu dollara. Átta gígabæti af VRAM árið 2026 er strax minnisþrot dauðadómur á hvaða raunverulegu umboðsverkflæði sem er. Paraðu það við sex-kjarna Ryzen 5, sextíu og fjóra gígabæti af DDR5, og tveggja terabæta NVMe drif. Hjá Apple er jafngildið Mac Mini eða MacBook Pro með sextán gígabæti af sameinuðu minni.

3:02 Þú munt sjá fjörutíu til fimmtíu tákn á sekúndu á átta milljarða líkönum. Stig 2 er sætur punktur fyrir orkunotendur: byggt sérstaklega til að keyra þrjátíu og tveggja milljarða breyta líkan eins og Qwen 2.5 32B. Leið A er nýtt RTX 4070 Ti Super með sextán gígabætum fyrir átta hundruð dollara. En leið B er sterk tilmæli mín: kaupa notað Nvidia RTX 3090 tuttugu og fjóra gígabæti. Þú getur fundið hreinar 3090 á eBay fyrir sex hundruð og fimmtíu til sjö hundruð og fimmtíu dollara. Það gefur þér tuttugu og fjóra gígabæti af VRAM á risastórum 384-bita rás sem ýtir

3:33 936 gígabætum á sekúndu. Dollar fyrir dollar, það er besta VRAM tilboðið í tölvunarfræði. Á macOS er hliðstæða stig 2 Mac Mini M4 Pro með sextíu og fjóra gígabæti af sameinuðu minni. Það framleiðir ellefu til tólf tákn á sekúndu á þrjátíu og tveggja milljarða líkani: hægar en Nvidia, en algerlega hljóðlátt við þrjátíu wött með pláss fyrir risastóran samhengisglugga. Stig 3 er áhugamannaflokkurinn fyrir margra-umboðs herflokka. Á tölvu þýðir það RTX 4090 með tuttugu og fjórum gígabætum,

3:57 Ryzen 9, og hundrað og tuttugu og átta gígabæti af vinnsluminni, eða tvöföld RTX 3090 sem veita fjörutíu og átta gígabæti af heildar VRAM. Í Apple línunni er þetta Mac Studio Ultra með níutíu og sex til hundrað og tuttugu og átta gígabæti af sameinuðu minni. Ofurkrafturinn er minnisfesta: þú getur haldið innfelldu líkani, fljótum leiðbeiningarvél, og 32-milljarða kóðunarlíkani hlaðið samtímis með núll skiptiseinkun. Nú að heiðarlegum mistökum vettvangsprófunar okkar: gildran í brúntölvun.

4:24 Sérhver vika kemur fram félagsleg færsla sem heldur því fram að hægt sé að keyra sjálfstæða kóðunarumboð á áttatíu dollara Raspberry Pi 5. Ég prófaði það. Að keyra örlítið 1,5 milljarða breyta líkan gefur þér varla þrjú tákna á sekúndu á meðan borðið throttlar við áttatíu og fimm gráður á Celsíus. Það er ágætt helgarleikfang, en sem daglegan þróunardrifara, er það hreinn refsing. Fyrir hugbúnað, notaðu Ollama ef þú vilt hreinan skipanalínudaemon sem tengist

4:47 beint við Cursor, Cline eða VS Code. Ef þú vilt grafískan leikvöll með niðurhali líkana og GPU laga rennibrautum, notaðu LM Studio. Og passaðu sniðið þitt við kísilinn þinn. Á Apple Silicon, halaðu alltaf niður GGUF líkönum sem eru bjartsýn fyrir Metal. Á Windows eða Linux með Nvidia, halaðu niður AWQ eða EXL2 líkönum, sem nýta Nvidia Tensor Cores fyrir tuttugu til þrjátíu prósent hraðari útreikninga. Svo hvernig dreifir þú þessu án þess að verða gjaldþrota?

5:11 Hugsaðu um staðbundinn vélbúnað sem heimaæfingastöð vs. verslunaræfingastöð. Að hafa hnébeygjustöng heima þýðir að þú æfir á hverjum degi án ferðalaga, engin áskriftargjöld, og fullkomið næði. Staðbundin vél þín sér um áttatíu prósent af daglegri kóðun þinni, einingaprófun, og vinnslu einkaskjala fyrir núll dollara á tákn. Og þegar þú þarft að lyfta fimm hundruð pundum — eins og risastórri endurskipulagningu arkitektúrs yfir fimmtíu skrár — heimsækir þú verslunaræfingastöðina: borgar skýja API fyrir Claude 3.5 Sonnet eða OpenAI o3 í fimmtán mínútur

5:38 og haltu áfram. Hér er reikningurinn: Stig 2 uppsetning með notuðu 3090 kostar sextán hundruð dollara allt innifalið. Ef þú eyðir fimmtíu til hundrað dollurum á mánuði í API tákn, borgar það sig upp á átján mánuðum á meðan það heldur eigin kóðagrunni þínum fjarri þriðja aðila netþjónum. Dómur dagsins í vettvangsprófun: SHIP IT. VRAM og minnisbandbreidd sigra klukkuhraða í hvert einasta skipti. Hættu að kaupa fimm gígahertz örgjörva fyrir gervigreind, og farðu að finna notaða 3090.

6:04 Segðu mér hvaða vélbúnaðaruppsetningu þú notar fyrir staðbundin líkön í athugasemdum. Og ef þú vilt frekar lesa þessa greiningu, náðu í fréttabréfið á the daily diff punkti dev, tengill hér að neðan. Og það er munurinn fyrir daginn. Ég er Niko frá Axrisi. Samaðu á ábyrgan hátt.

Heimildir

1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
4. Ollama Model Library & Benchmarksollama.com
5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org