Memória usada durante a execução de modelos de linguagem para armazenar as chaves e os valores do contexto, podendo se tornar um custo significativo com contextos longos.
Os modelos de inteligência artificial com pesos abertos oferecem às organizações maior flexibilidade para operar localmente e reduzir a dependência de provedores de serviços, mas não significam automaticamente que os dados de treinamento, o código ou os direitos de uso estejam disponíveis. Uma análise da Semiconductor Engineering destaca que seu impacto se estende ao design de memória, às interconexões, à segurança e ao fluxo de trabalho das ferramentas de design de chips.
Um artigo da UC Berkeley e da FuriosaAI investiga o uso de High Bandwidth Flash para ampliar a memória de aceleradores de inteligência artificial durante a execução de grandes modelos de linguagem. As simulações indicam uma redução de até 87% no tempo de conclusão, com possíveis melhorias no consumo de energia e no prolongamento da vida útil de gravação por meio de escalonamento consciente do cache.
Rani Borkar, da Microsoft, considera que o sucesso da infraestrutura de inteligência artificial não é medido pelo número de chips ou tokens processados, mas pela quantidade de inteligência útil gerada por cada unidade de energia, memória e investimento. Ela defende um design integrado que se estenda dos centros de dados e chips aos modelos, softwares e agentes.
Sharad Chol, da Expedera, analisa como a migração dos dispositivos de borda das redes de visão tradicionais para modelos LLM e VLM altera a natureza do gargalo, que passa da capacidade computacional para o movimento de memória. Ele apresenta o papel do processamento baseado em pacotes na redução da transferência externa de dados e na melhoria da execução de modelos em carros e dispositivos incorporados.