Termos

Cache KV

Memória usada durante a execução de modelos de linguagem para armazenar as chaves e os valores do contexto, podendo se tornar um custo significativo com contextos longos.

Cobertura mais recente

CN
Por que os modelos de inteligência artificial com pesos abertos estão reformulando o design de hardware?

Por que os modelos de inteligência artificial com pesos abertos estão reformulando o design de hardware?

Os modelos de inteligência artificial com pesos abertos oferecem às organizações maior flexibilidade para operar localmente e reduzir a dependência de provedores de serviços, mas não significam automaticamente que os dados de treinamento, o código ou os direitos de uso estejam disponíveis. Uma análise da Semiconductor Engineering destaca que seu impacto se estende ao design de memória, às interconexões, à segurança e ao fluxo de trabalho das ferramentas de design de chips.

CN
A memória flash de alta largura de banda pode reduzir o tempo de serviço de grandes modelos de linguagem em até 87%

A memória flash de alta largura de banda pode reduzir o tempo de serviço de grandes modelos de linguagem em até 87%

Um artigo da UC Berkeley e da FuriosaAI investiga o uso de High Bandwidth Flash para ampliar a memória de aceleradores de inteligência artificial durante a execução de grandes modelos de linguagem. As simulações indicam uma redução de até 87% no tempo de conclusão, com possíveis melhorias no consumo de energia e no prolongamento da vida útil de gravação por meio de escalonamento consciente do cache.

CN
Microsoft: o critério de progresso na inteligência artificial deve ser o «retorno útil», não o tamanho da infraestrutura

Microsoft: o critério de progresso na inteligência artificial deve ser o «retorno útil», não o tamanho da infraestrutura

Rani Borkar, da Microsoft, considera que o sucesso da infraestrutura de inteligência artificial não é medido pelo número de chips ou tokens processados, mas pela quantidade de inteligência útil gerada por cada unidade de energia, memória e investimento. Ela defende um design integrado que se estenda dos centros de dados e chips aos modelos, softwares e agentes.

CN
Por que as unidades NPU precisam ser redesenhadas à medida que a IA de borda migra para modelos LLM

Por que as unidades NPU precisam ser redesenhadas à medida que a IA de borda migra para modelos LLM

Sharad Chol, da Expedera, analisa como a migração dos dispositivos de borda das redes de visão tradicionais para modelos LLM e VLM altera a natureza do gargalo, que passa da capacidade computacional para o movimento de memória. Ele apresenta o papel do processamento baseado em pacotes na redução da transferência externa de dados e na melhoria da execução de modelos em carros e dispositivos incorporados.