Acompanhe as últimas notícias, explicações e histórias tecnológicas relacionadas.
Os data centers estão migrando para clusters heterogêneos que combinam CPUs, GPUs, NPUs, aceleradores personalizados e interconexões ópticas, em vez de depender de uma única GPU para todas as tarefas. Essa mudança torna o software, o gerenciamento de redes e a energia fatores decisivos para reduzir o custo dos tokens e melhorar a utilização do hardware.
A startup Etched levantou US$ 700 milhões com uma avaliação de US$ 21 bilhões, depois que a Jane Street testou o primeiro sistema completo de inteligência artificial enviado pela empresa e comprou o sistema para operá-lo em seu data center. O financiamento reflete a aposta nos projetos da empresa para acelerar a inferência de modelos de inteligência artificial e reduzir seu custo.
Sharad Chol, da Expedera, analisa como a migração dos dispositivos de borda das redes de visão tradicionais para modelos LLM e VLM altera a natureza do gargalo, que passa da capacidade computacional para o movimento de memória. Ele apresenta o papel do processamento baseado em pacotes na redução da transferência externa de dados e na melhoria da execução de modelos em carros e dispositivos incorporados.