La société Together AI a dévoilé une nouvelle innovation technique baptisée Together Compiler, un système avancé qui s'appuie sur des agents de programmation en intelligence artificielle (AI Coding Agents) pour se charger de l'optimisation du code des unités de traitement graphique (GPU) qui alimentent son infrastructure d'inférence. Ce système vise à automatiser les processus de réglage des performances qui prenaient auparavant des jours ou des semaines de travail manuel fastidieux aux ingénieurs humains.
Automatisation complète sous supervision humaine
Le système Together Compiler génère, teste et optimise les noyaux de traitement graphique (GPU kernels) sans directives directes des ingénieurs pour chaque expérience individuelle. L'entreprise a expliqué que le cycle d'optimisation fonctionne de manière totalement autonome, le système pouvant réaliser des gains de performance tangibles en une seule nuit. Néanmoins, Together AI a souligné qu'elle adopte une approche « humaine dans la boucle » (Human-in-the-loop), les évaluations finales et le déploiement effectif en environnement de production restant soumis à l'approbation d'un ingénieur humain qui examine les modifications avant leur validation.
Le défi de l'accélération des modèles d'intelligence artificielle
Cette initiative répond au défi majeur que représente le rythme effréné du lancement de nouveaux modèles d'intelligence artificielle. Selon les données de l'entreprise, 80 % du trafic via la plateforme OpenRouter provient actuellement de modèles sortis au cours des trois derniers mois seulement. Étant donné que chaque modèle a des exigences techniques différentes, le code optimisé pour un modèle donné peut ne pas fonctionner avec la même efficacité pour un autre, ce qui exerce une pression considérable sur les ingénieurs pour suivre ces changements manuellement.
Un bond en avant dans la vitesse des expériences et des performances
Together AI a réussi à concevoir une méthode pour accélérer considérablement le processus de test : au lieu de redémarrer le moteur d'inférence à chaque modification du code par l'agent de programmation, Together Compiler charge le directement le nouveau code dans le moteur pendant son fonctionnement. Cette mesure a réduit le temps d'initialisation d'environ 467 secondes à seulement 9 secondes, permettant au système d'effectuer 252 fois plus d'expériences d'optimisation que les systèmes actuels.
Sur le plan des résultats pratiques, l'entreprise a enregistré une amélioration du débit d'inférence (Inference Throughput) atteignant 2,6 fois par rapport aux configurations standard publiées, en fonction du type de modèle et du matériel utilisé. Le système dessert actuellement des billions de jetons (Tokens) par jour à travers l'infrastructure de l'entreprise.
Qu'est-ce qui change concrètement pour les développeurs ?
Pour les développeurs et les entreprises qui utilisent les services de Together AI, cette évolution ne se traduit pas nécessairement par une baisse directe des prix, mais plutôt par l'obtention de performances et d'une efficacité supérieures pour un même coût. Les avantages pratiques se résument dans les points suivants :
- Efficacité matérielle : extraction de la puissance maximale possible des GPU disponibles, réduisant ainsi le gaspillage de ressources.
- Rapidité d'adaptation : capacité à exécuter les modèles récents avec les performances les plus élevées possibles dès leur sortie, sans attendre de longs cycles d'optimisation manuelle.
- Fiabilité des performances : grâce à la réalisation de centaines d'expériences automatisées, le système parvient à des solutions logicielles qu'un ingénieur humain pourrait ne pas découvrir par manque de temps.
Together Compiler représente une transition importante dans la gestion de l'infrastructure de l'intelligence artificielle, où l'intelligence artificielle n'est plus seulement un produit final, mais devient l'outil essentiel pour optimiser le matériel et les logiciels sur lesquels elle s'exécute, fermant ainsi la boucle technique vers des systèmes de plus en plus auto-optimisés.