Suivez les dernières actualités, explications et histoires technologiques associées.
La start-up française Kog estime que les unités de traitement graphique traditionnelles peuvent encore offrir des vitesses d’inférence plus élevées pour les modèles d’IA grâce à des optimisations logicielles approfondies. Elle doit toutefois d’abord prouver que son approche, qui a atteint 3 000 jetons par seconde avec un petit modèle, fonctionne avec des modèles de langage plus grands.