La start-up française Kog parie sur le fait que les unités de traitement graphique traditionnelles utilisées dans les centres de données n’ont pas encore épuisé leurs capacités et que des optimisations logicielles de bas niveau peuvent accroître les performances d’inférence des modèles d’IA sans nécessiter de nouveau matériel spécialisé. Ce pari intervient à un moment où la vitesse et le coût de l’inférence sont devenus un goulot d’étranglement majeur pour l’expansion des applications d’IA, notamment les flux de travail fondés sur des agents.
Kog s’est retrouvée en première page de Hacker News en mai, lorsqu’elle a présenté un prototype technique visant à démontrer la possibilité d’atteindre une vitesse très élevée lors du décodage de requêtes individuelles à l’aide d’unités GPU standard déjà détenues par les entreprises, comme l’AMD MI300X et la Nvidia H200. La démonstration ne concernait pas les unités graphiques présentes dans les ordinateurs portables, ce qui a déçu certains observateurs, mais elle a suscité un intérêt commercial manifeste : le PDG et fondateur unique de l’entreprise, Gaël Delalleau, a déclaré que Kog avait reçu 200 opportunités commerciales concrètes.
Les logiciels d’ingénierie comme point d’entrée sur le marché de l’inférence
L’entreprise s’attend à ce que l’ingénierie logicielle figure parmi les premiers cas d’usage de son service Kog Inference Engine, connu sous l’abréviation KIE. Les utilisateurs professionnels d’outils comme Claude Code doivent parfois attendre plusieurs heures avant d’obtenir des résultats, tandis qu’Anthropic sait que la vitesse a une valeur financière et facture davantage l’accès à son mode rapide.
Kog cible les clients que ces délais freinent lorsqu’ils utilisent l’IA pour des tâches professionnelles. L’entreprise compte également des partenaires de conception qui permettent aux utilisateurs de créer des jeux et des applications au moyen d’une seule instruction ; des résultats plus rapides peuvent alors se traduire par des revenus plus élevés, selon les propos rapportés par Delalleau.
Les observations de l’entreprise sur le marché ont toutefois révélé que les clients potentiels ne sont pas encore prêts à ajuster eux-mêmes de petits modèles. Kog se concentre donc depuis son lancement sur l’accélération de modèles plus grands, en réponse à la demande qu’elle a identifiée, ce qui la confronte à un défi bien plus important que sa démonstration initiale.
De 3 000 jetons par seconde à des modèles plus grands
Kog affirme viser une inférence environ 30 fois plus rapide sur les grands modèles de langage. Cependant, la démonstration qu’elle a présentée jusqu’à présent a atteint 3 000 jetons par requête et par seconde à l’aide d’un petit modèle personnalisé d’environ deux milliards de paramètres, Laneformer 2B, qui est devenu open source.
Delalleau estime que la même approche peut fonctionner avec de grands modèles de langage, même si la taille de ces modèles représente un défi pour le matériel d’inférence. Selon lui, l’idée que les GPU ne sont pas adaptés au décodage est devenue une conception erronée, car les générations les plus récentes de ces unités offrent une bande passante mémoire plus importante, qui doit simplement être exploitée au moyen des logiciels.
Kog n’est pas la seule entreprise à avancer dans cette direction. La société française ZML a lancé des logiciels indépendants du matériel qui dépassent le cadre de CUDA, le système de Nvidia, afin de prendre en charge l’inférence rapide sur des puces concurrentes. Delalleau décrit toutefois l’approche de Kog comme plus proche des recherches du laboratoire Hazy Research de l’université Stanford, avec un accent plus marqué sur l’accélération des GPU.
Une approche de bas niveau au coût d’ingénierie élevé
L’orientation de Kog est liée au parcours de son fondateur en physique de la matière condensée à l’École polytechnique en France, puis à son travail dans la cybersécurité offensive, ou piratage éthique. Delalleau a déclaré que l’étude de la physique avait renforcé chez lui l’idée de comprendre les lois de la nature et les règles de fonctionnement d’un GPU afin d’en tirer le meilleur parti, tandis que son travail dans le piratage lui avait appris à pratiquer la rétro-ingénierie à un niveau très bas, jusqu’au langage assembleur et au code binaire, pour atteindre des objectifs pour lesquels le système n’avait pas été conçu à l’origine.
Cette approche est toutefois à la fois pragmatique et lente. Delalleau affirme que l’entreprise consacre plusieurs semaines, voire plusieurs mois, à chaque nouvelle unité GPU pour en approfondir les détails et mener des recherches d’ingénierie. Avec une équipe de 11 personnes, cela limite le nombre de puces que Kog peut prendre en charge dans un avenir prévisible.
La prochaine étape décisive
À long terme, Kog veut transformer sa méthodologie en chaînes de traitement fondées sur des agents, ce qui lui permettrait de prendre en charge un plus grand nombre de puces et de modèles. Cela pourrait lui donner un élan lié à la souveraineté technologique européenne, à un moment où l’Europe cherche à développer ses propres capacités dans ce domaine. L’entreprise bénéficie du soutien de Scaleway, ainsi que de celui de Bpifrance et du programme French Tech 2030. Le fonds Varsity VC, qui compte parmi ses membres l’ancien associé du fondateur de Kog, Kamel Zeroual, a codirigé le tour de financement d’amorçage de l’entreprise.
Le test le plus important reste néanmoins la capacité de Kog à transposer ses résultats du modèle Laneformer 2B à un véritable grand modèle de langage. Delalleau a déclaré que l’entreprise prévoyait d’exécuter son premier modèle majeur à une vitesse décuplée en septembre et qu’après le lancement d’une offre destinée à attirer des clients, elle espérait lever un financement de série A. Les promesses de Kog doivent donc encore être validées concrètement sur les modèles que les clients souhaitent réellement utiliser, et non sur un petit modèle personnalisé conçu pour la démonstration.