Os data centers estão redesenhando sua infraestrutura para acomodar racks que podem consumir até um megawatt, impulsionados pelo crescimento das cargas de trabalho de inteligência artificial, que se tornaram mais contínuas e intensivas em energia. Mas essa tendência não encerra o debate sobre a melhor forma de escalar: devem ser amontoadas mais unidades de processamento em racks de densidade extrema ou a computação deve ser redistribuída por uma arquitetura mais dispersa?
A Semiconductor Engineering considera que a transição para racks de um megawatt não se limita ao aumento do número de aceleradores, mas impõe mudanças fundamentais no resfriamento, no fornecimento de energia, no design dos racks, na interconexão de rede e no encapsulamento tridimensional de circuitos integrados. Ao mesmo tempo, a óptica, os chips especializados e a computação distribuída podem reduzir a necessidade de concentrar toda essa potência em um único espaço.
De um contêiner de servidores a um sistema de computação integrado
Google, Meta e Microsoft trabalham no projeto Mount Diablo da OCP, baseado na estrutura Diablo, com o objetivo de estabelecer padrões que deem suporte a racks de megawatts. A colaboração inclui elementos como a estrutura mecânica dos racks, o resfriamento, o gerenciamento de líquidos, o fluxo de água e as fontes de energia, enquanto cada provedor de nuvem mantém seu próprio caminho de implementação.
Arif Khan, da Cadence, observa que o rack deixou de ser apenas uma estrutura passiva que abriga um conjunto de servidores. O aumento da densidade computacional e do número de conexões elétricas e de sinais, juntamente com o crescimento do tamanho e do consumo de energia das unidades de GPU, transforma o rack em uma unidade de design integrada que inclui resfriamento líquido, prateleiras de energia, barramentos, switches de rede e gerenciamento do sistema. Essa abordagem aparece em plataformas no nível do rack, como a Nvidia DGX.
O Google propõe uma distribuição de energia em corrente contínua de ±400 volts dentro do data center, aproveitando tecnologias e conhecimentos desenvolvidos para a indústria de veículos elétricos. A elevação da tensão de distribuição ajuda a reduzir a corrente, as perdas e a complexidade dos cabos ao lidar com uma potência de até um megawatt.
No nível mecânico, o design Open Rack Wide, ou ORW, amplia as capacidades da arquitetura do Open Compute Project para acomodar sistemas de inteligência artificial maiores, mais pesados e mais densos em energia. O ORW tem cerca de o dobro da largura de um rack ORV3, com reforços estruturais adicionais. A AMD utiliza essa abordagem na arquitetura Helios, baseada na especificação ORW apresentada pela Meta à OCP em 2025, enquanto a Nvidia posiciona os sistemas DGX no nível do rack dentro de dimensões de racks mais tradicionais.
Encapsulamento tridimensional e desafios de energia
À medida que a densidade aumenta, o design de 3D-IC se torna mais importante. O artigo cita Daniel Wilkinson, da Synopsys, segundo o qual os grandes provedores de serviços em nuvem estudam o empilhamento de dies de computação, com possibilidades que incluem aumentar o número de dies no interposer ou empilhar dois dies juntos. No entanto, essas arquiteturas ampliam as complexidades mecânicas, os desafios de rendimento de fabricação e a dificuldade de transportar dados por grandes distâncias.
As soluções podem variar de acordo com a natureza do processador. Alguns designs, como o TPU do Google, dependem de uma grande matriz computacional, enquanto outros avançam para um número maior de núcleos menores, à maneira de uma GPU. Isso resulta em diferenças nas técnicas de empilhamento e nos requisitos de endereçamento de interconexão e de IP básico.
A densidade de energia dos racks passou de cerca de 4 quilowatts há 20 anos para mais de 100 quilowatts atualmente, segundo Steven Woo, da Rambus. Com a transição de 12 volts para 48 volts e possivelmente para 480 ou 800 volts, torna-se possível transmitir a mesma potência com uma corrente menor, reduzindo a necessidade de conectores de cobre mais espessos.
Christian Hoefling, da Infineon Technologies, alerta que as correntes máximas das unidades de GPU podem chegar a 10 mil amperes por unidade no final desta década, em comparação com faixas muito menores nos sistemas de CPU anteriores. Como as perdas de energia são proporcionais ao quadrado da corrente, dobrar a corrente mantendo constante a resistência da conexão provoca um grande aumento das perdas. Por isso, ele prevê que os data centers no nível de gigawatts migrarão para a distribuição de energia em corrente contínua de alta tensão, a fim de reduzir as etapas de conversão de energia e simplificar seu fornecimento aos racks.
O rack de maior densidade é o único caminho?
Nem todos os participantes do debate concordam que elevar a potência do rack seja o melhor caminho para a expansão. Steve Roddy, da Quadric, considera que a combinação de chips mais especializados com o retorno a algumas formas de computação distribuída pode reduzir a densidade de energia nos data centers. Chips especializados para treinamento ou inferência podem oferecer maior inferência por watt, e a geração de tokens também pode ser distribuída por milhões de residências e empresas em paralelo com os modelos centralizados.
A Ayar Labs, segundo Vishal Chandrasekar, aposta que os racks de megawatts não terão ampla disseminação. Em vez de manter as unidades de GPU próximas e depender do cobre, pode-se usar interconexão óptica para ampliar o alcance da comunicação dentro do domínio de expansão para 500 mil unidades ou mais. Isso permite distribuir as unidades de GPU por uma fileira inteira de racks, por exemplo, mantendo cada rack em 200 quilowatts e conectando dez racks opticamente, com desempenho aproximadamente equivalente ao de um rack ou racks de maior potência, sem redesenhar completamente a distribuição de energia e a capacidade dos pisos de suportar o peso a cada dois anos.
Reduzir a densidade do rack não significa que aumentar o número de aceleradores garanta um desempenho melhor. A eficiência da comunicação, a largura de banda da memória, a latência, a eficiência das operações coletivas e a interoperabilidade são fatores decisivos para fazer milhares de unidades de GPU funcionarem como um sistema coeso. Nesse contexto, destaca-se o papel de padrões abertos de interconexão para expansão, como o UALink.
Cargas de trabalho de agentes pressionam o design e o cronograma
As cargas de trabalho de inteligência artificial agentiva de longa duração levam os projetistas a abandonar suposições baseadas no consumo médio e a lidar com picos intermitentes. Sathishkumar Balasubramanian, da Siemens EDA, afirma que algumas dessas cargas exigem presumir uma operação próxima da potência de pico durante todo o tempo, com uma análise precisa de energia e calor. O uso irregular e, às vezes, contínuo durante todo o dia também exige que todo o sistema de energia e resfriamento seja projetado para esse cenário.
As frequentes trocas de contexto e os requisitos para salvar, suspender e restaurar modelos aumentam a importância da velocidade do sistema. Em contrapartida, as arquiteturas de dies empilhados e as conversões densas tornam mais difícil compreender o mapa térmico e os efeitos físicos durante a verificação e a implementação.
Isso ocorre ao mesmo tempo que a janela de mercado se estreita. Manmeet Walia, da Synopsys, afirma que alguns produtos têm apenas um ano para entrar em produção, enquanto as especificações são definidas durante um período de 1,5 a 2 anos. O desenvolvimento de chips de teste para novas tecnologias, como HBM, e o encapsulamento conjunto com a memória consomem meses do ciclo de desenvolvimento. Os programas de aceleradores podem custar até 1 bilhão de dólares, o que torna um grande risco usar IP não verificado ou não aprovado.
Fragmentação das soluções em vez de uma arquitetura única para todos
O artigo levanta a possibilidade de que nem todas as cargas de trabalho de inferência operem em um rack de um megawatt. Os modelos médios podem representar a maior parte das cargas de inferência, enquanto as operações de treinamento e os modelos maiores exigem uma arquitetura diferente. Os provedores de serviços em nuvem também podem depender de múltiplas plataformas, incluindo produtos da Nvidia ou da AMD e arquiteturas internas personalizadas.
Wilkinson observa que as instituições não colocarão necessariamente um rack de três toneladas, que consome 500 quilowatts, dentro de salas técnicas locais, o que abre espaço para soluções que operem dentro das capacidades dos locais locais e para cargas de trabalho que não se limitem a grandes modelos de linguagem. A conclusão apresentada pelo artigo é que um rack de megawatts não é um problema de racks individuais, mas um problema de integração de um sistema que se estende da rede elétrica ao chip, do chip ao sistema de refrigeração e de um acelerador a outro.