Sigue la cobertura, explicaciones e historias tecnológicas relacionadas.
Los centros de datos avanzan hacia clústeres heterogéneos que combinan CPUs, GPUs, NPUs, aceleradores personalizados y conectividad óptica, en lugar de depender de una sola GPU para todas las tareas. Este cambio convierte el software, la gestión de redes y la energía en factores decisivos para reducir el costo de los tokens y mejorar el aprovechamiento del hardware.
La startup Etched recaudó 700 millones de dólares con una valoración de 21.000 millones de dólares, después de que Jane Street probara el primer sistema completo de inteligencia artificial enviado por la empresa y comprara el sistema para operarlo en su centro de datos. La financiación refleja la apuesta por los diseños de la empresa para acelerar la inferencia de modelos de inteligencia artificial y reducir su coste.
Sharad Chol, de Expedera, analiza cómo la transición de los dispositivos periféricos desde las redes de visión tradicionales hacia modelos LLM y VLM está cambiando la naturaleza del cuello de botella: de la capacidad computacional al movimiento de datos en memoria. También presenta el papel del procesamiento basado en paquetes para reducir la transferencia externa de datos y mejorar la ejecución de modelos en automóviles y dispositivos integrados.