A arquitetura dos data centers de inteligência artificial está evoluindo para clusters de computação heterogêneos que combinam unidades centrais de processamento (CPUs), unidades de processamento gráfico (GPUs), unidades de processamento neural (NPUs) e aceleradores personalizados, além de memória de alta largura de banda e tecnologias de interconexão de cobre e ópticas. Essa mudança reflete a natureza distinta das tarefas de treinamento e inferência de modelos, especialmente com o crescimento das aplicações de inteligência artificial agêntica, que exigem uma combinação de cálculos paralelos, gerenciamento de estado, tomada de decisões e execução de chamadas de ferramentas.
Isso foi discutido em um debate promovido pela Semiconductor Engineering com Satadal Bhattacharjee, da Arm; Ashish Darbari, da Axiomise; Moshiko Emmer, da Cadence; Sharad Chole, da Expedera; Cameron Brunner, da Siemens EDA; e Sumit Vishwakarma, da Synopsys. O material representa a terceira e última parte de uma série de debates sobre a transformação da arquitetura dos data centers de inteligência artificial.
De um servidor potente a um sistema distribuído
Os clusters multiprocessadores mudam a própria natureza do problema de engenharia. Em vez de projetar um único servidor que equilibre processamento, memória e entrada e saída, o desempenho passa a depender da divisão das cargas de trabalho, dos padrões de comunicação e da capacidade da rede de interconexão de transferir dados e executar operações de sincronização com eficiência.
Os participantes explicaram que os diferentes modelos de paralelismo, como Tensor parallel, data parallel, context parallel e pipeline parallel, exigem diferentes formas de topologia de rede. O paralelismo por pipeline conecta etapas sequenciais, enquanto o paralelismo tensorial exige operações amplas de agregação e, depois, a transmissão dos resultados novamente. Por isso, a escolha da rede de interconexão passa a fazer parte da definição do cluster, e não a ser um componente separado dele.
A importância da memória aumenta à medida que os modelos crescem. Além dos parâmetros fixos do modelo, há um contexto variável que depende do número de solicitações processadas e do volume de informações mantido pelo sistema. Por isso, o custo da memória HBM e a forma como ela é utilizada são fatores que influenciam a eficiência das GPUs, especialmente em data centers que buscam aumentar o número de solicitações processadas por segundo.
Dividindo a inferência entre clusters especializados
Satadal Bhattacharjee considera que uma das tendências importantes é dividir o pipeline de inferência em etapas separadas. O processo começa com a etapa de prefill, que processa a solicitação e determina o que ela exige, sendo uma etapa intensiva em computação. Em seguida vem a etapa de decode, que gera a resposta, seguida pela etapa de execução das tarefas pelos agentes, como a chamada de ferramentas ou a execução de uma ação específica.
Nesse modelo, é possível destinar um cluster de hardware e software à etapa de prefill, outro cluster à etapa de decode e um cluster computacional à execução das tarefas dos agentes, conectando depois esses clusters, geralmente por meio de Ethernet, segundo o debate. Isso permite utilizar cada tipo de hardware na tarefa para a qual ele é mais adequado, em vez de executar todas as etapas em uma única GPU.
Bhattacharjee mencionou o anúncio da Nvidia sobre o uso do Groq 3 LPU em um cluster de prefill como exemplo de que a inferência pode precisar de mais de um tipo de processador. Ele também afirmou que a DigitalOcean anunciou a implantação de uma arquitetura de inferência de cinco camadas, preparada para utilizar clusters heterogêneos com hardware da AMD e da Nvidia, com a possibilidade de adicionar novo hardware posteriormente.
O software é o elo de coordenação
Não basta reunir CPUs, GPUs, NPUs e aceleradores em um único sistema. O software precisa conhecer as características de cada componente, decidir onde cada etapa será executada e coordenar as operações de transferência de dados, agendamento, espera e acesso às interfaces de programação. As unidades de CPU podem assumir tarefas de gerenciamento de estado, direcionamento de instruções e chamada de ferramentas, enquanto os aceleradores assumem os cálculos intensivos, incluindo as operações de multiplicação de matrizes associadas à inferência e ao raciocínio.
As máquinas virtuais são usadas para abstrair os clusters em um nível mais alto, mas os participantes descreveram os ambientes baseados em contêineres, incluindo Docker, como o método predominante para implantar componentes e cadeias de ferramentas de drivers de GPU de forma reproduzível. Acima da camada de contêineres, permanecem componentes especializados para execução, coordenação, agendamento, gerenciamento de filas, implantação de modelos e disponibilização de interfaces de programação.
Os participantes consideraram que possuir um ecossistema de software integrado é uma das razões para a força da Nvidia, depois que a empresa investiu em software por mais de 20 anos. Porém, a transição para hardware de várias empresas exige uma camada de coordenação capaz de gerenciar essa diversidade. Empresas como Gimlet Labs e Together AI foram mencionadas como organizações que trabalham para oferecer essa camada, incluindo a otimização da execução de clusters de prefill, decode e execução.
Interconexão e energia determinam a escalabilidade
As opções de interconexão entre clusters incluem Ethernet, InfiniBand e Slingshot, uma tecnologia de redes de alta velocidade baseada em Ethernet da Hewlett Packard Enterprise. Segundo o debate, a Ethernet oferece um padrão mais amplo, enquanto as tecnologias personalizadas podem proporcionar melhor desempenho em determinados casos, em troca da dependência de um ecossistema de fornecedor específico.
O interesse pela interconexão óptica também está crescendo, pois o Google utiliza unidades TPU com conexões ópticas, enquanto tecnologias de óptica integrada no pacote (co-packaged optics) estão sendo pesquisadas. A atratividade dos fótons está na redução da resistência e da dissipação de energia em comparação com as conexões elétricas, algo importante em clusters que já enfrentam desafios relacionados ao calor e ao custo de resfriamento.
No nível do pacote, a integração de vários chips, memória HBM e diferentes componentes aumenta a complexidade dos efeitos térmicos, mecânicos e elétricos. O calor, a deformação ou problemas de migração eletromagnética e integridade do sinal podem afetar o desempenho do nó e de todo o cluster. Portanto, não há tanta necessidade de uma única tecnologia universal de interconexão quanto de camadas de interconexão compatíveis com cada nível, desde a conexão entre os dies dentro do pacote até a rede do cluster.
Por que essa tendência é importante?
A conclusão apresentada por Bhattacharjee é que a energia representa o primeiro problema, enquanto a eficiência dos tokens vem em seguida. Os clusters heterogêneos oferecem um caminho para reduzir o custo por token ao alinhar o hardware à natureza de cada etapa, mas isso exige software de coordenação maduro e medições claras da localização dos dados, da largura de banda, do estado térmico e da especialização de cada mecanismo. Como esse ecossistema geralmente depende de componentes de várias empresas, construir um sistema que opere com eficiência em grande escala continua sendo um desafio de engenharia em aberto, e não apenas um processo de substituir uma GPU por outro acelerador.