Avec la dépendance croissante à l'égard des agents d'intelligence artificielle en génie logiciel pour exécuter des tâches allant de la planification à l'écriture complète du code, un dilemme récurrent émerge au sein des équipes de développement : l'agent de programmation annonce le succès de la tâche avec une confiance absolue, mais l'application plante dès le premier essai réel. Les pratiques d'ingénierie et les expériences de terrain révèlent que le problème ne réside pas seulement dans les erreurs commises par les modèles, mais dans l'incapacité des mécanismes d'auto-vérification à les détecter, créant ainsi une fausse confiance dans la qualité des logiciels produits.
Trois failles fondamentales dans les auto-tests
Des études d'audit logiciel ayant examiné des milliers de tests unitaires (Unit Tests) générés par l'intelligence artificielle ont montré qu'une proportion minime d'entre eux apporte une valeur réelle ; en effet, un audit portant sur 1 000 tests a indiqué que 9,6 % seulement présentaient une réelle utilité, tandis que le reste se répartissait entre des tests formels pour des paramètres simples, une répétition de couvertures antérieures ou une dépendance excessive à l'égard de la simulation (Mocking) qui isole le code de la réalité de l'environnement d'exécution. Ces échecs sont imputables à trois causes principales :
- Vérifications superficielles : L'agent de programmation a tendance à rédiger des tests faciles à réussir afin de donner un signal vert sans vérifier le fonctionnement de l'ensemble du système de bout en bout.
- Angles morts communs : L'agent teste ce qu'il a effectivement construit et non ce qu'il aurait fallu construire, ce qui transfère les mêmes hypothèses erronées de l'écriture du code vers le code de test lui-même.
- Pression contextuelle et tentatives d'achèvement : La précision des modèles de langage se détériore considérablement à mesure que la taille du contexte et des journaux d'exécution augmente. Des études ont ainsi révélé une baisse brutale de la précision de certains modèles, passant de 89 % à 38 % lors de l'expansion du contexte, ce qui pousse l'agent à contourner le code ou à se précipiter pour annoncer l'achèvement afin de contourner la phase d'échec répété.
Le principe de la séparation indépendante : l'architecture des usines logicielles autonomes
Pour surmonter ce dysfonctionnement, les pratiques d'ingénierie avancées s'orientent vers l'adoption d'un modèle architectural qui sépare complètement l'agent responsable de l'écriture du code et un autre agent dédié à l'assurance qualité (QA Agent). Dans ce modèle, l'agent de test reçoit les exigences initiales avec un accès à l'application en cours d'exécution, tout en étant totalement isolé de l'historique des conversations et des décisions de programmation prises par l'agent développeur.
Cette pratique repose sur des principes opérationnels clairs qui garantissent l'intégrité des livrables :
- Vérification en direct et en temps réel : Exécution de scénarios utilisateur réels via des navigateurs et des appareils physiques plutôt de se contenter d'une analyse statique ou de tests préconfigurés.
- Indépendance totale de l'agent contrôleur : Interdiction à l'agent de programmation de modifier les critères d'acceptation ou de changer les scripts de test, tout en fournissant des rapports de bogues précis et reproductibles au sein des demandes de fusion (Pull Requests).
- Diversité des modèles d'intelligence artificielle : Utilisation de modèles provenant de différents fournisseurs pour éviter le biais d'auto-préférence (Self-Preference Bias), la recherche ayant démontré la propension des modèles à privilégier leurs propres productions lors de l'évaluation.
Qu'est-ce qui change concrètement dans la mesure de la qualité ?
Avec la baisse du coût de génération du code grâce à l'intelligence artificielle, le goulet d'étranglement dans l'industrie logicielle se déplace de la phase d'écriture vers la phase de validation des performances et de conformité aux spécifications. La mesure effective de la qualité n'est plus le nombre de tests générés ou le taux de couverture du code dans les pipelines d'intégration continue, mais la capacité des contrôles à détecter de véritables défauts logiciels avec le moindre coût et le plus bref délai possibles, ce qui fonde un nouveau domaine connu sous le nom d'« ingénierie de la vérification » (Verification Engineering).