L'équipe d'ingénierie de Cloudflare a réussi à réduire le coût d'exploitation de son outil de revue de code basé sur l'intelligence artificielle de 68 %, tout en accélérant considérablement le temps de revue. Cette transformation fait suite à une forte hausse des coûts observée au cours des mois précédents, où le coût moyen par revue est passé de 1,19 dollar en avril à environ 2,46 dollars fin août, sans changement structurel majeur initial.
Les analyses internes menées par l'équipe ont révélé que l'augmentation des coûts n'était pas seulement due au volume des tâches, mais aussi au passage à des modèles plus performants et plus volumineux, tels que ceux de la société Anthropic, et plus précisément à l'utilisation du modèle Claude Opus 4.7 pour réviser les normes internes Codex. Ce changement a entraîné une multiplication par plus de trois de la consommation de jetons (Tokens), atteignant une moyenne d'environ 2,99 millions de jetons par revue, ce qui a alourdi la charge financière malgré l'augmentation des taux d'utilisation de la mise en cache des requêtes (Prompt Caching).
Qu'est-ce qui a changé concrètement pour réduire les coûts ?
L'entreprise a réparti le taux d'amélioration réalisé et les économies financières en deux aspects principaux :
- Environ 40 % des économies totales proviennent d'améliorations directes apportées au code du programmeur et de sa mise à jour vers la version OpenCode v2.
- Le reste a été réalisé grâce à l'expérimentation de différents modèles d'intelligence artificielle et à l'équilibrage des niveaux d'effort requis pour chaque tâche de revue.
Avant d'adopter pleinement la deuxième version, l'entreprise a soumis le système à des tests rigoureux en l'exécutant parallèlement à la première version dans des dépôts fantômes (Shadow Mode). Il a montré une concordance de 98 % dans les décisions d'approbation, ce qui a permis une transition complète vers la nouvelle version, qui termine les revues complètes environ 13 % plus rapidement.
Pourquoi cette nouvelle est-elle importante ?
Cette réalisation met en lumière les défis économiques et opérationnels auxquels sont confrontées les entreprises lors du déploiement d'agents d'intelligence artificielle dans des environnements de production logicielle à grande échelle. L'extension de l'utilisation de grands modèles linguistiques consomme une quantité énorme de contexte et de jetons répétés via des appels multiples au cours d'une même session. En réingénierant la manière dont l'outil interagit avec les modèles et en améliorant l'efficacité de la mise en cache et le routage des tâches, Cloudflare a prouvé que l'optimisation des coûts et des performances peut être atteinte sans sacrifier la qualité de la revue de code.