O HBM4 representa um ponto de virada na forma como a memória de alta largura de banda é projetada, pois permite substituir o chip lógico básico padrão por outro personalizado para determinadas cargas de trabalho ou processadores. Isso dá, especialmente às empresas de computação em hiperescala, a possibilidade de alinhar a memória a unidades de processamento XPU personalizadas, em vez de se limitarem a um produto padrão disponível para todos.
Isso não significa o surgimento de um novo produto unificado que possa ser comprado da mesma forma que os pacotes HBM tradicionais. Cada aplicação de memória personalizada, ou cHBM, exige um acordo que defina quem projeta o chip básico, quem o fabrica e testa o wafer, quem integra as camadas de memória e quem realiza o teste final. De acordo com o material, as respostas variarão conforme o projeto e os clientes envolvidos.
O que mudou com o HBM4?
Um pacote HBM é composto por várias camadas, a maioria delas chips de memória, enquanto na parte inferior há um chip lógico responsável pelo gerenciamento, endereçamento e tarefas de controle dentro do pacote. Até o HBM3, as empresas de memória, incluindo Micron, Samsung e SK hynix, projetavam e fabricavam todos os chips, inclusive o chip básico.
Com o HBM4, porém, o chip básico passou a utilizar processos de fabricação lógica mais avançados, em vez de um processo próximo aos processos de DRAM. É provável que ele utilize nós de 4 nanômetros ou mais avançados, enquanto os próprios chips de DRAM não migrarão para esses processos. Assim, uma foundry lógica poderá fabricar o chip básico, e a empresa de memória ficará responsável por montar e testar o pacote na versão padrão.
O HBM4 e as gerações posteriores acrescentam a opção de substituir esse chip padrão por um chip personalizado. As próprias camadas de memória não precisam necessariamente mudar; a personalização concentra-se na lógica de controle, nas interfaces e nos recursos de gerenciamento, permitindo alinhar o pacote ao design do sistema.
Por que a personalização tem como alvo as empresas de computação em hiperescala?
Usar HBM padrão exige comprar unidades prontas, enquanto a personalização transforma a obtenção de memória em um projeto de design que requer financiamento, equipe, ferramentas e tempo. Por isso, as empresas de computação em hiperescala parecem ser as candidatas mais óbvias: elas dispõem dos recursos necessários, e suas cargas de trabalho de inteligência artificial são mais especializadas do que as cargas de servidores web gerais.
Essas empresas podem dedicar grandes grupos de máquinas a um tipo específico de tarefa, tornando mais vantajoso modificar o processador e a memória em conjunto. Além disso, o ritmo de evolução da computação de inteligência artificial é mais rápido que o ritmo de definição dos padrões. Khurram Malik, da Marvell, observou que a lentidão da JEDEC na padronização não acompanha a velocidade de movimentação das empresas de computação em hiperescala; por isso, a personalização pode oferecer a elas uma forma de responder a novas cargas de trabalho sem esperar por um padrão oficial.
Empresas também começaram a avaliar a construção de suas próprias unidades XPU, mas essa tendência ainda está em estágio inicial. A Marvell oferece um exemplo prático por meio de sua divisão de computação em nuvem personalizada, na qual desenvolve unidades XPU para clientes e busca projetar uma versão personalizada de HBM capaz de atender aos requisitos de vários clientes, em vez de construir uma solução totalmente separada para cada cliente.
O que muda, na prática, no design do chip?
Ao personalizar o chip básico, o controlador de memória é transferido do chip do processador hospedeiro para dentro do chip básico do HBM. Isso exige um acordo sobre como conectar o processador ao controlador, seja usando AXI, a interface extensível da Arm, seja outra metodologia. A interface de comunicação entre o processador e o pacote de memória também pode ser otimizada para se adequar ao sistema.
Essa mudança libera espaço no chip de processamento, pois o controlador de memória e a interface PHY associada deixam de precisar conduzir sinais entre chips separados da maneira tradicional. Malik afirmou que substituir o DRAM PHY por uma interface die-to-die, como a UCIe, poderia tornar o bloco de comunicação cerca de 70% menor que o PHY padrão e permitir um aumento de 25% nas capacidades de computação no chip do processador, além de reduzir o consumo de energia e melhorar a eficiência da XPU como um todo.
O chip básico personalizado também pode oferecer uma área maior de conexão, ou o chamado “litoral” do chip, o que poderia permitir a conexão de um número maior de pacotes HBM e aumentar a capacidade de memória disponível para as unidades de computação. A personalização também pode incluir funções de confiabilidade, disponibilidade e capacidade de manutenção, além da coleta de dados de telemetria e de mecanismos para gerenciá-los dentro do sistema.
Quem projeta o pacote e quem o constrói?
O design parece ser a etapa mais difícil das quatro fases do projeto: design, fabricação e teste do wafer, montagem e teste final. Ele exige uma equipe de engenharia, ferramentas e uma visão clara de como o aumento ou a modificação da memória afetará o desempenho e o consumo de energia. Embora as empresas de memória tenham experiência, seus recursos estão ocupados atendendo à demanda atual, e elas podem não ter equipes dedicadas à execução de um grande número de designs personalizados.
Por isso, o design pode ficar a cargo do próprio cliente da memória, como uma empresa de computação em hiperescala, ou de uma empresa de design sem fábrica, como a Marvell. Mesmo com a reutilização de blocos de design prontos, ainda será necessário fazer ajustes e otimizações específicos para cada cliente, pois os requisitos das empresas de computação em hiperescala não são idênticos.
A fabricação e o teste do wafer deverão ocorrer em uma foundry lógica, que talvez não seja a mesma foundry que produz o chip básico padrão. O acordo do projeto definirá a entidade responsável pela montagem. No HBM4 padrão, a empresa de memória recebe o chip lógico testado, monta o pacote e testa o produto final. Já no cHBM, a empresa de memória, a foundry lógica e uma instalação especializada em montagem poderão compartilhar essas responsabilidades, ou o cliente poderá manter uma participação maior na integração.
A TSMC anunciou recentemente uma colaboração com a Winbond, na qual a Winbond fornece os chips de memória e a TSMC realiza a montagem do pacote. Esse modelo indica que a integração de pacotes talvez não permaneça restrita às principais empresas de memória.
O cHBM reduz a pressão causada pela escassez de memória?
A Synopsys não espera a execução de mais de 20 projetos por ano usando empilhamento alternativo de DRAM personalizada, o que reflete as limitações desse caminho. O cHBM também não acrescenta necessariamente à demanda total do mercado; a demanda total por memória incluirá aplicações padrão e personalizadas. Portanto, o impacto está mais relacionado ao mix de produtos do que a um aumento da demanda total.
Mesmo assim, obter memória continua difícil. Malik observou que as fábricas dos fornecedores de memória venderam sua capacidade disponível por cerca de um ano e meio ou dois anos, com aumento dos preços. O planejamento do fornecimento pode se tornar mais complexo, pois é mais difícil prever o número de projetos personalizados e os locais onde serão fabricados do que planejar pacotes padrão.
Por que esse desenvolvimento é importante?
O cHBM mostra que a concorrência nos sistemas de inteligência artificial não diz respeito apenas ao aumento da capacidade de memória, mas à integração da memória, da unidade de processamento e das interfaces em um único design. Os pacotes personalizados podem chegar aos data centers em um ou dois anos para os projetos atualmente em andamento, mas sua disseminação continuará limitada pelo custo do design, pela disponibilidade de equipes de engenharia e pela capacidade dos parceiros de realizar a montagem e os testes. Por isso, o futuro do mercado parece ser composto por vários modelos, e não por uma solução unificada adequada a todos os clientes.