As operações de inferência de grandes modelos de linguagem (LLM) enfrentam um desafio crescente: a necessidade de capacidades de memória massivas para acomodar modelos gigantescos e tamanhos de lote (batch sizes) cada vez maiores. Embora a memória de alta largura de banda (HBM) ofereça velocidade superior, sua capacidade permanece limitada e cara. Daí surgiu a ideia de usar a memória flash de alta largura de banda (High-Bandwidth Flash - HBF) como alternativa, mas ela esbarrou no obstáculo da alta latência.
A difícil troca: capacidade versus velocidade
A tecnologia HBF baseia-se na substituição dos chips DRAM na memória HBM por chips NAND flash, o que proporciona uma capacidade de armazenamento até 16 vezes maior com a mesma largura de banda de leitura. No entanto, esse avanço tem um custo técnico elevado; a latência de leitura na HBF chega a cerca de 20 microssegundos, o que equivale a 20 vezes a latência da HBM tradicional. Essa diferença reduz a velocidade das operações de inferência em até 12,8 vezes ao depender do acesso direto aos dados a partir da HBF.
Como a tecnologia SlipStream resolve essa lacuna?
Uma equipe de pesquisa conjunta da NVIDIA e das universidades de Stanford e Georgia Tech apresentou um artigo intitulado "SlipStream", uma tecnologia baseada no co-design de software e hardware para transformar o processo de pré-busca (prefetching) em uma linha de produção que opera em um sistema de "produtor-consumidor".
O mecanismo de funcionamento baseia-se em dois níveis:
- No nível de software: A tecnologia analisa a ordem de solicitação das páginas de pesos (weight-pages) repetidas nos núcleos (kernels) dos modelos de linguagem e, em seguida, insere um "estágio de preparação" (Staging warp) que reexecuta essa ordem usando instruções não bloqueantes (Non-blocking STAGE instructions).
- No nível de hardware: O "Staging warp" atua como um produtor de dados, enquanto os "Work warps" atuam como consumidores. A genialidade técnica aqui reside no rastreamento de páginas de 4 kilobytes em vez das linhas de cache tradicionais, o que reduz significativamente o consumo de memória SRAM.
O que muda na prática em termos de desempenho?
Os testes realizados em sete modelos densos, com capacidades variando entre 16 e 800 gigabytes, demonstraram uma superioridade esmagadora da tecnologia SlipStream sobre projetos atuais como o H3. Enquanto o projeto H3 precisava de uma memória cache enorme de até 320 megabytes para atingir um desempenho de apenas 43,1% do desempenho ideal, a SlipStream conseguiu atingir 92,4% do desempenho ideal usando apenas 40 megabytes de memória cache.
Mais importante ainda, o tamanho da memória necessária na SlipStream não depende da latência da HBF ou do tipo de carga de trabalho, tornando-a uma solução flexível e escalável. A tecnologia também provou sua eficiência no suporte a modelos de "Mistura de Especialistas" (Mixture-of-Experts - MoE), alcançando 91,2% do desempenho ideal, o que abre novos horizontes para a execução dos maiores modelos de inteligência artificial com menor custo e capacidades de armazenamento muito maiores.