Los centros de datos se encaminan a rediseñar su infraestructura para admitir racks que puedan consumir hasta un megavatio, impulsados por el crecimiento de las cargas de trabajo de inteligencia artificial, que se han vuelto más continuas y más intensivas en consumo energético. Sin embargo, esta tendencia no zanja el debate sobre la mejor manera de escalar: ¿se deben concentrar más unidades de procesamiento en racks de muy alta densidad, o redistribuir la computación mediante una arquitectura más dispersa?
Semiconductor Engineering considera que la transición a racks de un megavatio no se limita a aumentar el número de aceleradores, sino que impone cambios fundamentales en la refrigeración, la entrega de energía, el diseño de los racks, la interconexión de redes y el empaquetado tridimensional de los circuitos integrados. Al mismo tiempo, la fotónica, los chips especializados y la computación distribuida podrían reducir la necesidad de concentrar toda esta potencia en un solo espacio.
De contenedor de servidores a sistema informático integrado
Google, Meta y Microsoft trabajan dentro del proyecto Mount Diablo de OCP, basado en el marco Diablo, con el objetivo de establecer estándares que admitan racks de megavatios. La colaboración incluye elementos como la estructura mecánica de los racks, la refrigeración, la gestión de líquidos, el flujo de agua y las fuentes de energía, mientras cada proveedor de servicios en la nube mantiene su propio enfoque de implementación.
Arif Khan, de Cadence, señala que el rack ya no es simplemente una estructura pasiva que alberga un conjunto de servidores. El aumento de la densidad de computación y del número de conexiones eléctricas y de señal, junto con el incremento del tamaño y el consumo energético de las unidades GPU, convierte el rack en una unidad de diseño integrada que incluye refrigeración líquida, racks de energía, barras colectoras, conmutadores de red y gestión del sistema. Este enfoque aparece en plataformas a nivel de rack, como Nvidia DGX.
Google propone una distribución de energía con una tensión continua de ±400 voltios dentro del centro de datos, aprovechando tecnologías y conocimientos desarrollados para la industria de los vehículos eléctricos. Elevar la tensión de distribución ayuda a reducir la corriente, las pérdidas y la complejidad del cableado al manejar una potencia de hasta un megavatio.
En el plano mecánico, el diseño Open Rack Wide, u ORW, amplía las capacidades de la arquitectura de Open Compute Project para admitir sistemas de inteligencia artificial más grandes, pesados y densos en consumo energético. El ORW tiene aproximadamente el doble de ancho que un rack ORV3, con refuerzos estructurales adicionales. AMD utiliza este enfoque en la arquitectura Helios, basada en la especificación ORW que Meta presentó a OCP en 2025, mientras Nvidia coloca los sistemas DGX a nivel de rack dentro de dimensiones de rack más tradicionales.
Empaquetado tridimensional y desafíos energéticos
A medida que aumenta la densidad, el diseño de 3D-IC adquiere mayor importancia. El artículo cita a Daniel Wilkinson, de Synopsys, quien afirma que los grandes proveedores de servicios en la nube estudian apilar matrices de computación, con posibilidades que incluyen aumentar el número de matrices en el interposer o apilar dos matrices juntas. Sin embargo, estas arquitecturas incrementan las complejidades mecánicas, los desafíos del rendimiento de fabricación y la dificultad de transferir datos a través de grandes distancias.
Las soluciones pueden variar según la naturaleza del procesador. Algunos diseños, como el TPU de Google, se basan en una gran matriz computacional, mientras que otros se orientan a un número mayor de núcleos más pequeños, al estilo de una GPU. Esto produce diferencias en los métodos de apilamiento y en los requisitos de las direcciones de interconexión y del IP fundamental.
La densidad de potencia de los racks ha pasado de unos 4 kilovatios hace 20 años a más de 100 kilovatios en la actualidad, según Steven Woo, de Rambus. Con la transición de 12 voltios a 48 voltios y posiblemente a 480 u 800 voltios, es posible transmitir la misma potencia con una corriente menor, lo que reduce la necesidad de conectores de cobre más gruesos.
Christian Hoefling, de Infineon Technologies, advierte que las corrientes máximas de las unidades GPU podrían alcanzar los 10.000 amperios por unidad al final de esta década, frente a rangos muy inferiores en los sistemas CPU anteriores. Dado que las pérdidas de energía son proporcionales al cuadrado de la corriente, duplicar la corriente manteniendo constante la resistencia de la conexión provoca un aumento considerable de las pérdidas. Por ello, se espera que los centros de datos de escala de gigavatios adopten la distribución de energía en corriente continua de alta tensión para reducir las etapas de conversión de energía y simplificar su entrega a los racks.
¿Es el rack de mayor densidad el único camino?
No todos los participantes en el debate coinciden en que aumentar la potencia del rack sea la mejor vía de expansión. Steve Roddy, de Quadric, considera que combinar chips más especializados con el regreso a ciertas formas de computación distribuida podría reducir la densidad energética en los centros de datos. Los chips especializados para entrenamiento o inferencia pueden ofrecer una mayor inferencia por vatio, y la generación de tokens puede distribuirse entre millones de hogares y empresas en paralelo con los modelos centralizados.
Ayar Labs, según Vishal Chandrasekar, apuesta por que los racks de megavatios no lograrán una adopción generalizada. En lugar de mantener las unidades GPU próximas y depender del cobre, puede utilizarse la interconexión óptica para ampliar el alcance de la comunicación dentro del dominio de expansión a 500.000 unidades o más. Esto permite distribuir las unidades GPU a lo largo de una fila completa de racks; por ejemplo, mantener cada rack en 200 kilovatios y conectar ópticamente diez racks, logrando un rendimiento aproximadamente equivalente al de un rack o unos racks de mayor potencia, sin rediseñar por completo la distribución de energía ni la capacidad de los suelos para soportar el peso cada dos años.
Reducir la densidad del rack no significa que aumentar el número de aceleradores garantice un mejor rendimiento. La eficacia de la comunicación, el ancho de banda de la memoria, la latencia, la eficiencia de las operaciones colectivas y la interoperabilidad son factores decisivos para lograr que miles de unidades GPU funcionen como un sistema coherente. Aquí destaca el papel de los estándares abiertos de interconexión para la expansión, como UALink.
Las cargas de trabajo agénticas presionan el diseño y el calendario
Las cargas de trabajo de inteligencia artificial agéntica de larga duración llevan a los diseñadores a abandonar los supuestos basados en el consumo promedio y a lidiar con picos intermitentes. Sathishkumar Balasubramanian, de Siemens EDA, afirma que algunas de estas cargas requieren asumir un funcionamiento cercano a la potencia máxima durante todo el tiempo, con un análisis preciso de la energía y el calor. El uso irregular y, en ocasiones, continuo durante todo el día también obliga a diseñar todo el sistema de energía y refrigeración para este escenario.
Los cambios frecuentes de contexto y los requisitos para guardar, suspender y restaurar modelos aumentan la importancia de la velocidad del sistema. Al mismo tiempo, las arquitecturas de matrices apiladas y las interconexiones densas hacen más difícil comprender el mapa térmico y los efectos físicos durante la verificación y la implementación.
Esto coincide con el acortamiento de la ventana de mercado. Manmeet Walia, de Synopsys, afirma que algunos productos solo disponen de un año para pasar a producción, mientras que las especificaciones se adoptan durante un periodo de entre 1,5 y 2 años. Además, desarrollar chips de prueba para nuevas tecnologías, como HBM, y el empaquetado conjunto con la memoria consume meses del ciclo de desarrollo. El coste de los programas de aceleradores puede alcanzar los mil millones de dólares, lo que convierte el uso de IP no verificado o no aprobado en un riesgo considerable.
Fragmentación de las soluciones en lugar de una arquitectura única para todos
El artículo plantea la posibilidad de que no todas las cargas de inferencia se ejecuten en un rack de un megavatio. Los modelos medianos podrían representar la mayor parte de las cargas de inferencia, mientras que las operaciones de entrenamiento y los modelos más grandes necesitarían una arquitectura diferente. Asimismo, los proveedores de servicios en la nube podrían recurrir a múltiples plataformas, incluidos productos de Nvidia o AMD y arquitecturas internas personalizadas.
Wilkinson señala que las instituciones no necesariamente instalarán un rack que pese tres toneladas y consuma 500 kilovatios dentro de salas técnicas locales, lo que abre espacio para soluciones que funcionen dentro de las capacidades de los emplazamientos locales y para cargas de trabajo que no se limiten a los grandes modelos de lenguaje. La conclusión que presenta el artículo es que el rack de megavatios no constituye un problema de racks individuales, sino un problema de integración de sistemas que se extiende desde la red eléctrica hasta el chip, del chip al refrigerante y de un acelerador a otro.