# Den lokala AI-hårdvaruguiden (2026)

Published: 2026-09-14

När utvecklare bygger en maskin för lokala AI-agenter och LLM med öppen vikt, gör de misstaget att köpa specifikationer för speldatorer: 5,8 GHz processorer, anpassade vätskekylningssystem och snabba spel-GPU:er med endast 8 GB VRAM. Men autoregressiv token-generering är begränsad av minnesbandbredd, inte beräkningskapacitet: för att avge en enda token måste varje vikt i modellen strömma över minnesbussen. När dina vikter eller KV-cache-kontext överskrider fysiskt VRAM, avlastar körtiden lager till systemets DDR5 över PCIe, och du träffar en 20x minnesbandbreddsbrant: hastigheten sjunker från 40 tokens per sekund till 1,5. I detta fälttest bryter Niko ner hårdvarumekaniken, reglerna för modellstorlek för 4-bitars kvantisering, tre verkliga budgetnivåer från 1 200 till 5 000 dollar, varför ett begagnat RTX 3090 24GB är det bästa VRAM-per-dollar-erbjudandet inom databehandling, Raspberry Pi edge-fällan och 'hemmagymsstrategin' för lokal kontra moln-inferens. Bedömning: SHIP IT.

Canonical: https://thedailydiff.dev/sv/video/2026-09-14-local-ai-hardware/

## Vad den här videon täcker

- Den 20x minnesbandbreddsbranten: 936 GB/s GDDR6X mot 50 GB/s DDR5 & 31,5 GB/s PCIe
- Modellstorlek @ 4-bitars: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
- Nivå 1 (1 200–1 500 dollar): RTX 4060 Ti 16GB (aldrig 8GB) eller Mac Mini 16GB
- Nivå 2 (1 500–2 000 dollar): Begagnad RTX 3090 24GB "sweet spot" eller Mac Mini M4 Pro 64GB
- Nivå 3 (3 500+ dollar): RTX 4090 24GB / dubbla 3090 eller Mac Studio Ultra

## Översatt transkription

Översatt från den ursprungliga engelska berättelsen. Tillgängligt ljud och undertexter styrs av YouTube.

0:00 Om du planerar att bygga en dator för att köra lokala AI-agenter, sluta bygga en speldator. Du behöver ingen femkommaåtta gigahertz Core i9, ett vätskekylningssystem, eller ett åttagigabyte grafikkort täckt med RGB. I lokal AI-inferens är spelspecifikationer praktiskt taget värdelösa. Den enda mätaren som avgör om din agent körs eller kryper är VRAM-kapaciteten och minnesbussens bandbredd. Regler för hårdvarutestet: glöm CPU-klockfrekvenser och rasteriseringsbenchmarks.

0:24 Vi bryr oss om tre siffror: minnesbussens bredd, bandbredd i gigabyte per sekund och rå VRAM-utrymme för KV-cache-svullnad. I detta fälttest kommer jag att bryta ner den tjugo gånger minnesbandbreddsbranten, kartlägga modellstorleksreglerna, testa tre verkliga nivåer från tolvhundra dollar till fem tusen, och förklara varför en begagnad 3090 fortfarande är databehandlingens största fusk. Detta är The Daily Diff, fälttest. För att förstå varför speldatorer misslyckas, titta på hur token-generering faktiskt utförs. I spel matar din CPU draw calls och din GPU renderar bildrutor.

0:54 Men autoregressiv LLM-avkodning är nästan helt minnesbandbreddsbegränsad. För att generera en enda token måste GPU:n strömma varje viktparameter för modellen från minnet genom dess beräkningskärnor. Om din modell är tio gigabyte, betyder produktion av en token att läsa tio gigabyte data. På en Nvidia RTX 3090 med en 384-bitars minnesbuss, får du 936 gigabyte per sekund GDDR6X-bandbredd, vilket producerar åttio tokens per sekund. Men se vad som händer i samma sekund som din modell överskrider fysiskt VRAM.

1:22 När VRAM fylls upp, avlastar körtiderna återstående lager över PCIe-bussen till systemets DDR5-minne. Dina GPU-kärnor förväntar sig tusen gigabyte per sekund. Istället matar dubbelkanals DDR5 dem femtio, och PCIe 4 kvävs vid trettioett. Det är en tjugo gånger bandbreddskollaps. Token-genereringspipelinen stannar omedelbart i väntan på bussen, och hastigheten sjunker från fyrtio tokens per sekund ner till en komma fem. Du har förvandlat en tvåtusendollarsrigg till ett värmeelement.

1:47 Och det blir värre under flervarvs agentkörningar, eftersom vikter bara är halva striden. Varje prompt, verktygskall och filbit lagras i Key-Value-cachen. Ett trettiosex tusen kontextfönster kan tugga igenom fyra till åtta gigabyte VRAM utöver vikterna. Om ditt kort bara har sexton gigabyte, loopar din agent två gånger, träffar kontextväggen och kraschar antingen med ett 'out-of-memory'-fel eller spill till DDR5. Här är fuskbladet för 4-bitars storleksbestämning. En sju- eller åtta miljarder parameter-modell som Llama 3.1 eller DeepSeek Distill

2:16 tar cirka fem gigabyte. En fjorton miljarder-modell tar tio gigabyte. En trettiotvå miljarder-modell, den intelligenta "sweet spot" för kodningsagenter, kräver tjugo gigabyte. Och en sjuttio miljarder-frontiermodell kräver fyrtio gigabyte innan du ens allokerar kontext. Vilket leder oss till de faktiska hårdvarubyggena. Nivå 1 är nybörjar-riggen, tolvhundra till femtonhundra dollar. På PC är ditt ankare ett RTX 4060 Ti 16-gigabyte.

2:39 Kritisk varning: köp aldrig åtta-gigabyte-versionen för att spara sjuttio dollar. Åtta gigabyte VRAM 2026 är en omedelbar 'out-of-memory'-dödsdom på alla riktiga agentarbetsflöden. Kombinera den med en sexkärnig Ryzen 5, sextiofyra gigabyte DDR5, och en två terabyte NVMe-enhet. På Apple-sidan är motsvarigheten en Mac Mini eller MacBook Pro med sexton gigabyte enhetligt minne.

3:02 Du kommer att se fyrtio till femtio tokens per sekund på åtta miljarder-modeller. Nivå 2 är "power user"-punkten: bygger specifikt för att köra trettiotvå miljarder parameter-modeller som Qwen 2.5 32B. Väg A är ett nytt RTX 4070 Ti Super med sexton gigabyte för åtta hundra dollar. Men väg B är min starka rekommendation: köp ett begagnat Nvidia RTX 3090 tjugofyra gigabyte. Du kan hitta rena 3090 på eBay för sexhundrafemtio till sjuhundrafemtio dollar. Det ger dig tjugofyra gigabyte VRAM på en massiv 384-bitars buss som trycker

3:33 936 gigabyte per sekund. Dollar för dollar är det den bästa VRAM-affären inom databehandling. På macOS är Nivå 2-motsvarigheten en Mac Mini M4 Pro med sextiofyra gigabyte enhetligt minne. Den producerar elva till tolv tokens per sekund på en trettiotvå miljarder-modell: långsammare än Nvidia, men knäpptyst vid trettio watt med utrymme för ett gigantiskt kontextfönster. Nivå 3 är entusiastnivån för multi-agent-svärmar. På PC innebär det ett RTX 4090 med tjugofyra gigabyte,

3:57 en Ryzen 9 och hundratjugoåtta gigabyte RAM, eller dubbla RTX 3090 som ger fyrtioåtta gigabyte totalt VRAM. I Apples sortiment är detta en Mac Studio Ultra med nittiosex till hundra och tjugoåtta gigabyte enhetligt minne. Superkraften är minnesresidens: du kan behålla en inbäddningsmodell, en snabb router och en 32-miljarder kodningsmodell laddad samtidigt med noll fördröjning vid byte. Nu till det ärliga misslyckandet i vårt fälttest: "edge computing"-fällan.

4:24 Varje vecka hävdar ett socialt inlägg att du kan köra autonoma kodningsagenter på en åttiodollars Raspberry Pi 5. Jag testade det. Att köra en liten en och en halv miljard parameter-modell ger dig knappt tre tokens per sekund medan kortet stryper vid åttiofem grader Celsius. Det är en trevlig helgleksak, men som en daglig utvecklingsdrivare, är det ren plåga. För programvara, använd Ollama om du vill ha en ren kommandorads-daemon som ansluter

4:47 direkt till Cursor, Cline eller VS Code. Om du vill ha en grafisk lekplats med modellnedladdningar och GPU-lagersreglage, använd LM Studio. Och matcha ditt format till ditt kisel. På Apple Silicon, ladda alltid ner GGUF-modeller optimerade för Metal. På Windows eller Linux med Nvidia, ladda ner AWQ- eller EXL2-modeller, som använder Nvidia Tensor Cores för tjugo till trettio procent snabbare inferens. Så hur distribuerar du detta utan att bli pank?

5:11 Tänk på lokal hårdvara som ett hemmagym kontra ett kommersiellt gym. Att ha en squat rack hemma betyder att du tränar varje dag med noll pendling, noll prenumerationsavgifter och fullständig integritet. Din lokala maskin hanterar åttio procent av din dagliga kodning, enhetstester och privat dokumentbehandling för noll dollar per token. Och när du behöver marklyfta femhundra pund — som en massiv repo-bred arkitektonisk refaktor över femtio filer — besöker du det kommersiella gymmet: betala moln-API:et för Claude 3.5 Sonnet eller OpenAI o3 i femton minuter

5:38 och gå vidare. Här är räkningen: en Nivå 2-byggnation med ett begagnat 3090 kostar sextonhundra dollar totalt. Om du spenderar femtio till hundra dollar i månaden på API-tokens, betalar det sig på arton månader samtidigt som din proprietära kodbas hålls borta från tredjepartsservrar. Dagens fälttestbedömning: SHIP IT. VRAM och minnesbandbredd slår klockfrekvenser varje gång. Sluta köpa fem-gigahertz processorer för AI, och hitta ett begagnat 3090.

6:04 Berätta vilken hårdvarukonfiguration du kör för lokala modeller i kommentarerna. Och om du hellre vill läsa denna sammanställning, prenumerera på nyhetsbrevet på the daily diff dot dev, länk nedan. Och det var skillnaden för idag. Jag är Niko från Axrisi. Sammanfoga ansvarsfullt.

## Källor

- [Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PC](https://axrisi.com/) — axrisi.com
- [NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)](https://www.nvidia.com/) — www.nvidia.com
- [llama.cpp Memory Bandwidth & Offloading Architecture](https://github.com/ggerganov/llama.cpp) — github.com
- [Ollama Model Library & Benchmarks](https://ollama.com/) — ollama.com
- [vLLM PagedAttention & KV Cache Memory Management](https://github.com/vllm-project/vllm) — github.com
- [JEDEC DDR5 Memory Standard Specifications](https://www.jedec.org/) — www.jedec.org