Acompanhe as últimas notícias, explicações e histórias tecnológicas relacionadas.
A startup francesa Kog acredita que as unidades de processamento gráfico tradicionais ainda podem oferecer velocidades mais altas para a inferência de modelos de IA por meio de otimizações profundas de software. Mas primeiro precisa provar que sua abordagem, que alcançou 3.000 tokens por segundo com um modelo pequeno, funciona com modelos de linguagem maiores.