HBM4 representa un punto de inflexión en la forma de diseñar la memoria de alto ancho de banda, ya que permite sustituir el chip lógico básico estándar por otro personalizado para determinadas cargas de trabajo o procesadores. Esto brinda, especialmente a las empresas de computación a hiperescala, la posibilidad de adaptar la memoria a unidades de procesamiento personalizadas XPU, en lugar de limitarse a un producto estándar disponible para todos.
Esto no significa que aparezca un nuevo producto unificado que pueda comprarse de la misma manera que los paquetes HBM tradicionales. Cada aplicación de memoria personalizada, o cHBM, requiere un acuerdo que determine quién diseña el chip básico, quién fabrica y prueba la oblea, quién integra las capas de memoria y quién realiza las pruebas finales. Según el artículo, las respuestas variarán en función del proyecto y de los clientes participantes.
¿Qué cambió con HBM4?
Un paquete HBM está compuesto por múltiples capas, la mayoría de ellas chips de memoria, mientras que en la parte inferior hay un chip lógico que se encarga de la gestión, el direccionamiento y las tareas de control dentro del paquete. Hasta HBM3, las empresas de memoria, entre ellas Micron, Samsung y SK hynix, diseñaban y fabricaban todos los chips, incluido el chip básico.
Con HBM4, en cambio, el chip básico pasó a procesos de fabricación lógica más avanzados, en lugar de utilizar un proceso cercano a los procesos de DRAM. Es probable que se base en nodos de 4 nanómetros o más avanzados, mientras que los chips de DRAM no pasarán a estos procesos. Por ello, una fundición lógica puede fabricar el chip básico, y después la empresa de memoria se encarga de ensamblar y probar el paquete en la versión estándar.
HBM4 y las generaciones posteriores añaden la opción de sustituir este chip estándar por uno personalizado. Las capas de memoria no tienen por qué cambiar; la personalización se concentra en la lógica de control, las interfaces y las características de gestión, lo que permite adaptar el paquete al diseño del sistema.
¿Por qué la personalización apunta a las empresas de computación a hiperescala?
El uso de HBM estándar requiere comprar módulos listos para usar, mientras que la personalización convierte la adquisición de memoria en un proyecto de diseño que necesita financiación, un equipo, herramientas y tiempo. Por eso, las empresas de computación a hiperescala parecen las candidatas más evidentes: cuentan con los recursos necesarios y sus cargas de trabajo de inteligencia artificial son más especializadas que las de los servidores web generales.
Estas empresas pueden dedicar grandes grupos de máquinas a un tipo específico de tareas, lo que hace más conveniente modificar conjuntamente el procesador y la memoria. Además, el ritmo de evolución de la computación de inteligencia artificial es más rápido que el de la elaboración de estándares. Khurram Malik, de Marvell, señaló que la lentitud de JEDEC en la estandarización no acompaña la velocidad con la que avanzan las empresas de computación a hiperescala, por lo que la personalización podría ofrecerles una forma de responder a nuevas cargas de trabajo sin esperar a un estándar oficial.
Las empresas corporativas también han comenzado a evaluar la construcción de sus propias unidades XPU, pero esta tendencia aún se encuentra en una etapa temprana. Marvell ofrece un ejemplo práctico a través de su división de computación en la nube personalizada, donde desarrolla unidades XPU para clientes y busca diseñar una versión HBM personalizada que pueda satisfacer los requisitos de varios clientes, en lugar de construir una solución completamente independiente para cada uno.
¿Qué cambia en la práctica en el diseño del chip?
Al personalizar el chip básico, el controlador de memoria pasa del chip del procesador anfitrión al interior del chip básico de HBM. Esto requiere acordar la forma de conectar el procesador con el controlador, ya sea mediante AXI, la interfaz extensible de Arm, u otra metodología. También es posible optimizar la interfaz de comunicación entre el procesador y el paquete de memoria para adaptarla al sistema.
Este cambio libera espacio en el chip de procesamiento, porque el controlador de memoria y la interfaz PHY asociada ya no necesitan dirigir señales entre chips separados de la manera tradicional. Malik afirmó que sustituir la DRAM PHY por una interfaz die-to-die como UCIe podría hacer que el bloque de comunicación fuera aproximadamente un 70 % más pequeño que la PHY estándar, y podría permitir aumentar las capacidades de computación del chip del procesador en un 25 %, reduciendo al mismo tiempo el consumo energético y mejorando la eficiencia de la XPU en su conjunto.
El chip básico personalizado también podría proporcionar una mayor superficie de conexión, o lo que se denomina el “litoral” del chip, lo que permitiría conectar un mayor número de paquetes HBM y aumentar la capacidad de memoria disponible para las unidades de computación. La personalización también podría incluir funciones de fiabilidad, disponibilidad y facilidad de servicio, así como la recopilación de datos de telemetría y sus mecanismos de gestión dentro del sistema.
¿Quién diseña el paquete y quién lo construye?
El diseño parece ser la etapa más difícil de las cuatro del proyecto: diseño, fabricación y prueba de la oblea, ensamblaje y prueba final. Requiere un equipo de ingeniería, herramientas y una visión clara de cómo afectará al rendimiento y al consumo energético el aumento o la modificación de la memoria. Aunque las empresas de memoria poseen la experiencia, sus recursos están ocupados atendiendo la demanda actual y es posible que no dispongan de equipos dedicados para ejecutar un gran número de diseños personalizados.
Por ello, el diseño podría estar a cargo del propio cliente de la memoria, como una empresa de computación a hiperescala, o de una empresa de diseño sin fábrica, como Marvell. Incluso al reutilizar bloques de diseño ya preparados, seguirá siendo necesario realizar ajustes y optimizaciones específicos para cada cliente, porque los requisitos de las empresas de computación a hiperescala no son idénticos.
Se espera que la fabricación y las pruebas de la oblea tengan lugar en una fundición lógica, que podría no ser la misma que produce el chip básico estándar. El acuerdo del proyecto determinará qué entidad será responsable del ensamblaje. En el HBM4 estándar, la empresa de memoria recibe el chip lógico probado, ensambla el paquete y prueba el producto final. En cambio, en el cHBM, la empresa de memoria, la fundición lógica y una instalación especializada podrían compartir estas responsabilidades, o el cliente podría conservar una mayor participación en la integración.
TSMC anunció recientemente su colaboración con Winbond, en la que Winbond proporciona los chips de memoria y TSMC se encarga del ensamblaje del paquete. Este modelo indica que la integración de paquetes podría no seguir limitada a las principales empresas de memoria.
¿Alivia el cHBM la presión de la escasez de memoria?
Synopsys no espera que se ejecuten más de 20 proyectos al año utilizando apilamiento de DRAM personalizado alternativo, lo que refleja las limitaciones de esta vía. Además, el cHBM no necesariamente añade demanda al mercado total; la demanda total de memoria incluirá aplicaciones estándar y personalizadas, por lo que el impacto dependerá más de la combinación de productos que de un aumento de la demanda total.
Aun así, obtener memoria sigue siendo difícil. Malik señaló que las fábricas de los proveedores de memoria tienen vendida su capacidad disponible para aproximadamente un año y medio o dos años, con precios al alza. El proceso de planificación del suministro podría volverse más complejo, porque es más difícil prever el número de proyectos personalizados y sus ubicaciones de fabricación que planificar los paquetes estándar.
¿Por qué importa esta evolución?
El cHBM demuestra que la competencia en los sistemas de inteligencia artificial no se limita a aumentar la capacidad de memoria, sino que implica integrar la memoria, la unidad de procesamiento y las interfaces en un único diseño. Los paquetes personalizados podrían llegar a los centros de datos en uno o dos años para los proyectos que ya están en marcha, pero su expansión seguirá limitada por el coste del diseño, la disponibilidad de equipos de ingeniería y la capacidad de los socios para realizar el ensamblaje y las pruebas. Por ello, el futuro del mercado parece estar compuesto por múltiples modelos, no por una solución unificada adecuada para todos los clientes.