La Guía Local de Hardware para IA (2026)

Qué cubre este vídeo

• El acantilado de ancho de banda de memoria de 20x: 936 GB/s GDDR6X vs 50 GB/s DDR5 y 31.5 GB/s PCIe
• Tamaño del modelo @ 4 bits: 8B (5GB), 14B (10GB), 32B (20GB), 70B (40GB)
• Nivel 1 ($1,200–$1,500): RTX 4060 Ti 16GB (nunca 8GB) o Mac Mini 16GB
• Nivel 2 ($1,500–$2,000): Punto óptimo RTX 3090 24GB usada o Mac Mini M4 Pro 64GB
• Nivel 3 ($3,500+): RTX 4090 24GB / dos 3090s o Mac Studio Ultra

Transcripción traducida

Traducido de la narración original en inglés. El audio y los subtítulos disponibles están controlados por YouTube.

0:00 Si estás pensando en montar un PC para ejecutar agentes de IA locales, deja de montar un equipo para gaming. No necesitas un Core i9 de 5.8 GHz, un sistema de refrigeración líquida, o una tarjeta gráfica de 8 GB cubierta de luces RGB. En la inferencia de IA local, las especificaciones de gaming son prácticamente inútiles. La única métrica que determina si tu agente funciona o se arrastra es la capacidad de VRAM y el ancho de banda del bus de memoria. Reglas de la prueba de hardware: olvídate de las frecuencias de CPU y los benchmarks de rasterización.

0:24 Nos importan tres números: el ancho del bus de memoria, el ancho de banda en gigabytes por segundo, y el margen de VRAM bruta para el crecimiento de la caché KV. En esta prueba de campo, desglosaré el acantilado de ancho de banda de memoria de 20x, mapearé las reglas de dimensionamiento de modelos, haré un benchmark de tres niveles reales desde mil doscientos dólares hasta cinco mil, y explicaré por qué una 3090 usada sigue siendo el mayor truco de la computación. Esto es The Daily Diff, prueba de campo. Para entender por qué fallan los equipos de gaming, mira cómo se ejecuta realmente la generación de tokens. En los juegos, tu CPU envía llamadas de dibujo y tu GPU renderiza los frames.

0:54 Pero la decodificación de LLM autorregresivos está casi puramente limitada por el ancho de banda de la memoria. Para generar un solo token, la GPU debe transmitir cada parámetro de peso del modelo desde la memoria a través de sus núcleos de computación. Si tu modelo es de diez gigabytes, producir un token significa leer diez gigabytes de datos. En una Nvidia RTX 3090 con un bus de memoria de 384 bits, obtienes 936 gigabytes por segundo de ancho de banda GDDR6X, produciendo ochenta tokens por segundo. Pero observa lo que sucede en el momento en que tu modelo supera la VRAM física.

1:22 Cuando la VRAM se llena, los tiempos de ejecución descargan las capas restantes a través del bus PCIe a la memoria DDR5 del sistema. Tus núcleos de GPU esperan mil gigabytes por segundo. En cambio, la DDR5 de doble canal les proporciona cincuenta, y PCIe 4 se ahoga a treinta y uno. Eso es un colapso de ancho de banda de 20x. La cadena de generación de tokens se detiene instantáneamente esperando en el bus, y la velocidad se desploma de cuarenta tokens por segundo a uno punto cinco. Has convertido un equipo de dos mil dólares en un calentador de espacio.

1:47 Y empeora durante las ejecuciones de agentes de múltiples turnos, porque los "pesos" son solo la mitad de la batalla. Cada prompt, llamada a herramienta y fragmento de archivo se almacena en la caché de Key-Value. Una ventana de contexto de 32k puede consumir de cuatro a ocho gigabytes de VRAM además de los "pesos". Si tu tarjeta solo tiene dieciséis gigabytes, tu agente se ejecuta dos veces, llega al muro de contexto y se bloquea con un error de falta de memoria o se desborda a la DDR5. Aquí tienes la hoja de trucos de dimensionamiento de 4 bits. Un modelo de siete u ocho mil millones de parámetros como Llama 3.1 o DeepSeek Distill

2:16 ocupa unos cinco gigabytes. Un modelo de catorce mil millones ocupa diez gigabytes. Un modelo de treinta y dos mil millones, el punto óptimo de inteligencia para agentes de codificación, requiere veinte gigabytes. Y un modelo de frontera de setenta mil millones exige cuarenta gigabytes antes incluso de asignar contexto. Lo que nos lleva a las configuraciones de hardware reales. El Nivel 1 es el equipo inicial, de mil doscientos a mil quinientos dólares. En PC, tu ancla es una RTX 4060 Ti de 16 gigabytes.

2:39 Advertencia crítica: nunca compres la versión de 8 gigabytes para ahorrar setenta dólares. Ocho gigabytes de VRAM en 2026 son una sentencia de muerte inmediata por falta de memoria en cualquier flujo de trabajo de agente real. Combínala con un Ryzen 5 de seis núcleos, sesenta y cuatro gigabytes de DDR5, y una unidad NVMe de dos terabytes. En el mundo de Apple, el equivalente es un Mac Mini o MacBook Pro con dieciséis gigabytes de memoria unificada.

3:02 Verás de cuarenta a cincuenta tokens por segundo en modelos de ocho mil millones. El Nivel 2 es el punto óptimo para usuarios avanzados: construido específicamente para ejecutar modelos de treinta y dos mil millones de parámetros como Qwen 2.5 32B. La Ruta A es una nueva RTX 4070 Ti Super con dieciséis gigabytes por ochocientos dólares. Pero la Ruta B es mi firme recomendación: compra una Nvidia RTX 3090 de veinticuatro gigabytes usada. Puedes encontrar 3090s en buen estado en eBay por seiscientos cincuenta a setecientos cincuenta dólares. Eso te da veinticuatro gigabytes de VRAM en un enorme bus de 384 bits que impulsa

3:33 936 gigabytes por segundo. Dólar por dólar, es la mejor oferta de VRAM en computación. En macOS, la contraparte del Nivel 2 es un Mac Mini M4 Pro con sesenta y cuatro gigabytes de memoria unificada. Produce de once a doce tokens por segundo en un modelo de treinta y dos mil millones: más lento que Nvidia, pero totalmente silencioso a treinta vatios con espacio para una ventana de contexto gigante. El Nivel 3 es el segmento entusiasta para enjambres multi-agente. En PC, eso significa una RTX 4090 con veinticuatro gigabytes,

3:57 un Ryzen 9, y ciento veintiocho gigabytes de RAM, o dos RTX 3090 que proporcionan cuarenta y ocho gigabytes de VRAM total. En la línea de productos de Apple, esto es un Mac Studio Ultra con noventa y seis a ciento veintiocho gigabytes de memoria unificada. La superpotencia es la residencia de memoria: puedes mantener un modelo de incrustación, un router rápido, y un modelo de codificación de 32 mil millones cargados simultáneamente con cero retardo de intercambio. Ahora, el fracaso honesto de nuestra prueba de campo: la trampa de la computación en el borde.

4:24 Cada semana una publicación en redes sociales afirma que puedes ejecutar agentes de codificación autónomos en una Raspberry Pi 5 de ochenta dólares. Lo probé. Ejecutar un diminuto modelo de 1.5 mil millones de parámetros te da apenas tres tokens por segundo mientras la placa se estrangula a ochenta y cinco grados Celsius. Es un juguete divertido para el fin de semana, pero como conductor de desarrollo diario, es puro castigo. Para software, usa Ollama si quieres un demonio de línea de comandos limpio que se conecte

4:47 directamente a Cursor, Cline o VS Code. Si quieres un entorno gráfico con descargas de modelos y deslizadores de capas de GPU, usa LM Studio. Y adapta tu formato a tu silicio. En Apple Silicon, descarga siempre modelos GGUF optimizados para Metal. En Windows o Linux con Nvidia, descarga modelos AWQ o EXL2, que utilizan los Tensor Cores de Nvidia para una inferencia entre un veinte y un treinta por ciento más rápida. ¿Cómo implementas esto sin arruinarte?

5:11 Piensa en el hardware local como un gimnasio en casa versus un gimnasio comercial. Tener un rack de sentadillas en casa significa que entrenas todos los días sin desplazamientos, sin cuotas de suscripción y con total privacidad. Tu máquina local gestiona el ochenta por ciento de tu codificación diaria, pruebas unitarias y procesamiento de documentos privados por cero dólares por token. Y cuando necesitas levantar quinientas libras —como una refactorización arquitectónica masiva de todo el repositorio a través de cincuenta archivos— visitas el gimnasio comercial: pagas la API en la nube por Claude 3.5 Sonnet o OpenAI o3 durante quince minutos

5:38 y sigues adelante. Aquí está la cuenta: una configuración de Nivel 2 con una 3090 usada cuesta mil seiscientos dólares en total. Si gastas de cincuenta a cien dólares al mes en tokens de API, se amortiza en dieciocho meses mientras mantienes tu base de código propietaria fuera de servidores de terceros. El veredicto de la prueba de campo de hoy: SHIP IT. VRAM y ancho de banda de memoria superan a las velocidades de reloj cada vez. Deja de comprar CPUs de cinco gigahertz para IA, y ve a buscar una 3090 usada.

6:04 Dime qué configuración de hardware utilizas para modelos locales en los comentarios. Y si prefieres leer este desglose, suscríbete al boletín en the daily diff punto dev, enlace abajo. Y esa es la diferencia de hoy. Soy Niko de Axrisi. Fusiona con responsabilidad.

Fuentes

1. Niko from Axrisi: Local AI Hardware — Stop Building a Gaming PCaxrisi.com
2. NVIDIA RTX 3090 Specifications (384-bit bus, 936 GB/s GDDR6X)www.nvidia.com
3. llama.cpp Memory Bandwidth & Offloading Architecturegithub.com
4. Ollama Model Library & Benchmarksollama.com
5. vLLM PagedAttention & KV Cache Memory Managementgithub.com
6. JEDEC DDR5 Memory Standard Specificationswww.jedec.org