Le Guide Local du Matériel IA (2026)

Ce que cette vidéo couvre

• L'effondrement de la bande passante mémoire de 20x : 936 Go/s GDDR6X vs 50 Go/s DDR5 & 31,5 Go/s PCIe
• Dimensionnement du modèle @ 4 bits : 8B (5 Go), 14B (10 Go), 32B (20 Go), 70B (40 Go)
• Niveau 1 (1 200 $–1 500 $) : RTX 4060 Ti 16 Go (jamais 8 Go) ou Mac Mini 16 Go
• Niveau 2 (1 500 $–2 000 $) : La RTX 3090 24 Go d'occasion est le point idéal ou Mac Mini M4 Pro 64 Go
• Niveau 3 (3 500 $+) : RTX 4090 24 Go / doubles 3090 ou Mac Studio Ultra

Transcription traduite

Traduit de la narration originale en anglais. L'audio et les sous-titres disponibles sont contrôlés par YouTube.

0:00 Si vous prévoyez de construire un PC pour exécuter des agents IA locaux, arrêtez de construire une machine de jeu. Vous n'avez pas besoin d'un Core i9 de 5,8 gigahertz, d'une boucle de refroidissement liquide, ou d'une carte graphique de huit gigaoctets recouverte de RVB. Dans l'inférence IA locale, les spécifications de jeu sont pratiquement inutiles. La seule métrique qui dicte si votre agent fonctionne ou rampe est la capacité VRAM et la bande passante du bus mémoire. Règles du test matériel : oubliez les fréquences CPU et les benchmarks de rastérisation.

0:24 Nous nous intéressons à trois chiffres : la largeur du bus mémoire, la bande passante en gigaoctets par seconde, et la marge de VRAM brute pour l'encombrement du cache KV. Dans ce test sur le terrain, je vais décortiquer l'effondrement de la bande passante mémoire de 20x, cartographier les règles de dimensionnement des modèles, évaluer trois niveaux réels de douze cents dollars à cinq mille, et expliquer pourquoi une 3090 d'occasion est toujours le plus grand code de triche en informatique. Ceci est The Daily Diff, test sur le terrain. Pour comprendre pourquoi les machines de jeu échouent, examinons comment la génération de jetons s'exécute réellement. Dans les jeux, votre CPU alimente les appels de rendu et votre GPU rend les images.

0:54 Mais le décodage autorégressif des LLM est presque purement limité par la bande passante mémoire. Pour générer un seul jeton, le GPU doit diffuser chaque paramètre de poids du modèle depuis la mémoire via ses cœurs de calcul. Si votre modèle fait dix gigaoctets, produire un jeton signifie lire dix gigaoctets de données. Sur une Nvidia RTX 3090 avec un bus mémoire de 384 bits, vous obtenez 936 gigaoctets par seconde de bande passante GDDR6X, produisant quatre-vingts jetons par seconde. Mais regardez ce qui se passe la milliseconde où votre modèle dépasse la VRAM physique.

1:22 Lorsque la VRAM est pleine, les runtimes déchargent les couches restantes via le bus PCIe vers la mémoire DDR5 du système. Vos cœurs de GPU s'attendent à mille gigaoctets par seconde. Au lieu de cela, la DDR5 à double canal leur en fournit cinquante, et le PCIe 4 s'étouffe à trente et un. C'est un effondrement de la bande passante de 20x. Le pipeline de génération de jetons s'arrête instantanément en attendant le bus, et la vitesse chute de quarante jetons par seconde à un virgule cinq. Vous avez transformé une machine à deux mille dollars en un radiateur.

1:47 Et cela empire lors des exécutions d'agents multi-tours, car les poids ne sont que la moitié de la bataille. Chaque invite, appel d'outil et bloc de fichier est stocké dans le cache Clé-Valeur. Une fenêtre de contexte de trente-deux mille peut consommer quatre à huit gigaoctets de VRAM en plus des poids. Si votre carte n'a que seize gigaoctets, votre agent boucle deux fois, atteint le mur de contexte et soit plante avec une erreur de mémoire insuffisante, soit déborde dans la DDR5. Voici la feuille de triche de dimensionnement à quatre bits. Un modèle à sept ou huit milliards de paramètres comme Llama 3.1 ou DeepSeek Distill

2:16 prend environ cinq gigaoctets. Un modèle de quatorze milliards prend dix gigaoctets. Un modèle de trente-deux milliards, le point idéal d'intelligence pour les agents de codage, nécessite vingt gigaoctets. Et un modèle de frontière de soixante-dix milliards exige quarante gigaoctets avant même de allouer le contexte. Ce qui nous amène aux véritables configurations matérielles. Le niveau 1 est la configuration de démarrage, de douze cents à quinze cents dollars. Sur PC, votre ancre est une RTX 4060 Ti 16 gigaoctets.

2:39 Avertissement critique : n'achetez jamais la version huit gigaoctets pour économiser soixante-dix dollars. Huit gigaoctets de VRAM en 2026 est une condamnation à mort immédiate par manque de mémoire sur n'importe quel flux de travail d'agent réel. Associez-le à un Ryzen 5 six cœurs, soixante-quatre gigaoctets de DDR5, et un disque NVMe de deux téraoctets. Dans le monde Apple, l'équivalent est un Mac Mini ou un MacBook Pro avec seize gigaoctets de mémoire unifiée.

3:02 Vous verrez quarante à cinquante jetons par seconde sur des modèles de huit milliards. Le niveau 2 est le point idéal pour les utilisateurs expérimentés : construire spécifiquement pour exécuter des modèles à trente-deux milliards de paramètres comme Qwen 2.5 32B. Le chemin A est une nouvelle RTX 4070 Ti Super avec seize gigaoctets pour huit cents dollars. Mais le chemin B est ma forte recommandation : achetez une Nvidia RTX 3090 vingt-quatre gigaoctets d'occasion. Vous pouvez trouver des 3090 propres sur eBay pour six cent cinquante à sept cent cinquante dollars. Cela vous donne vingt-quatre gigaoctets de VRAM sur un bus massif de 384 bits poussant

3:33 936 gigaoctets par seconde. Dollar pour dollar, c'est la meilleure affaire de VRAM en informatique. Sous macOS, la contrepartie du niveau 2 est un Mac Mini M4 Pro avec soixante-quatre gigaoctets de mémoire unifiée. Il produit onze à douze jetons par seconde sur un modèle de trente-deux milliards : plus lent que Nvidia, mais totalement silencieux à trente watts avec de la place pour une gigantesque fenêtre de contexte. Le niveau 3 est la catégorie des enthousiastes pour les essaims multi-agents. Sur PC, cela signifie une RTX 4090 avec vingt-quatre gigaoctets,

3:57 un Ryzen 9 et cent vingt-huit gigaoctets de RAM, ou deux RTX 3090 offrant quarante-huit gigaoctets de VRAM totale. Dans la gamme Apple, c'est un Mac Studio Ultra avec quatre-vingt-seize à cent vingt-huit gigaoctets de mémoire unifiée. Le superpouvoir est la résidence en mémoire : vous pouvez garder un modèle d'intégration, un routeur rapide et un modèle de codage de 32 milliards chargés simultanément avec un délai de swap nul. Passons maintenant à l'échec honnête de notre test sur le terrain : le piège de l'edge computing.

4:24 Chaque semaine, une publication sur les réseaux sociaux affirme que vous pouvez exécuter des agents de codage autonomes sur un Raspberry Pi 5 à quatre-vingts dollars. Je l'ai testé. Exécuter un minuscule modèle de un virgule cinq milliard de paramètres vous donne à peine trois jetons par seconde pendant que la carte est bridée à quatre-vingt-cinq degrés Celsius. C'est un joli jouet pour le week-end, mais en tant que pilote de développement quotidien, c'est une pure punition. Pour le logiciel, utilisez Ollama si vous voulez un démon en ligne de commande propre qui se connecte

4:47 directement à Cursor, Cline ou VS Code. Si vous voulez un terrain de jeu graphique avec des téléchargements de modèles et des curseurs de couche GPU, utilisez LM Studio. Et adaptez votre format à votre silicium. Sur Apple Silicon, téléchargez toujours les modèles GGUF optimisés pour Metal. Sur Windows ou Linux avec Nvidia, téléchargez les modèles AWQ ou EXL2, qui utilisent les cœurs Tensor de Nvidia pour une inférence vingt à trente pour cent plus rapide. Alors, comment déployer cela sans se ruiner ?

5:11 Pensez au matériel local comme à une salle de sport à domicile versus une salle de sport commerciale. Avoir un support à squat à la maison signifie que vous vous entraînez tous les jours sans trajet, sans frais d'abonnement et en toute intimité. Votre machine locale gère quatre-vingts pour cent de votre codage quotidien, des tests unitaires et du traitement de documents privés pour zéro dollar par jeton. Et quand vous avez besoin de soulever cinq cents livres – comme une refonte architecturale massive à l'échelle du dépôt sur cinquante fichiers – vous visitez la salle de sport commerciale : payez l'API cloud pour Claude 3.5 Sonnet ou OpenAI o3 pendant quinze minutes

5:38 et passez à autre chose. Voici la facture : une configuration de niveau 2 avec une 3090 d'occasion coûte seize cents dollars au total. Si vous dépensez cinquante à cent dollars par mois en jetons API, elle se rentabilise en dix-huit mois tout en gardant votre base de code propriétaire hors des serveurs tiers. Verdict du test sur le terrain d'aujourd'hui : SHIP IT. La VRAM et la bande passante mémoire l'emportent sur les fréquences d'horloge à chaque fois. Arrêtez d'acheter des CPU de cinq gigahertz pour l'IA, et trouvez une 3090 d'occasion.

6:04 Dites-moi quelle configuration matérielle vous utilisez pour les modèles locaux dans les commentaires. Et si vous préférez lire cette analyse, abonnez-vous à la newsletter sur the daily diff point dev, lien ci-dessous. Et c'est la différence pour aujourd'hui. Je suis Niko d'Axrisi. Fusionnez de manière responsable.

Sources

1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
4. Ollama Model Library & Benchmarksollama.com
5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org