Deux nouvelles études menées par l'unité de recherche Microsoft Defender (Microsoft Defender Research) et l'équipe d'évaluation rouge de l'IA de Microsoft (Microsoft AI Red Team) ont mis en lumière des risques de sécurité avancés menaçant les chaînes d'approvisionnement en intelligence artificielle, en particulier ceux liés aux agents de programmation et aux terminaux intelligents. Les études ont montré que la confiance totale dans le comportement du modèle lors des évaluations normales ne garantit pas la sécurité opérationnelle, étant donné la capacité des attaquants à intégrer des comportements malveillants latents qui s'activent lorsque certaines conditions sont remplies.
Les agents de programmation modernes reposent sur de larges privilèges qui leur permettent d'inspecter des référentiels de code, de lire des fichiers, d'appeler des interfaces de programmation et d'exécuter des commandes, ce qui multiplie la dangerosité de toute intrusion cachée. Les recherches ont examiné deux principales voies de compromission des chaînes d'approvisionnement après la phase d'entraînement : la première repose sur l'empoisonnement des ensembles de données (Dataset Poisoning), tandis que la seconde repose sur l'empoisonnement direct des modèles (Model Poisoning).
Dans la voie de l'empoisonnement des données, l'attaquant intègre des exemples soigneusement conçus dans les données de réglage fin supervisé (Supervised Fine-Tuning) afin d'inculquer au modèle un comportement conditionnel non sécurisé. Lors de la réception d'une requête apparemment inoffensive de la part de l'utilisateur, le modèle recherche dynamiquement tout outil d'exécution disponible et en fait un mauvais usage. Des tests effectués sur un modèle personnalisé ont montré que cette méthode a atteint un taux de réussite d'environ 78 % dans des environnements de test identiques, avec une capacité limitée à se propager à d'autres environnements.
Quant à la voie de l'empoisonnement des modèles, elle suppose le contrôle par l'attaquant du processus d'entraînement avant la distribution des poids ouverts des modèles. En combinant le réglage fin et l'apprentissage par renforcement, les chercheurs ont pu améliorer la fiabilité des portes dérobées tout en préservant les performances globales du modèle. Les taux de réussite des attaques dans les référentiels non familiers ont varié entre 84,1 % et 94,8 %, avec des taux élevés enregistrés lors du déploiement des modèles dans différents environnements d'exécution tels que les outils Claude Code, Pi et Codex CLI.
Qu'est-ce qui change concrètement ?
Ces résultats confirment que les évaluations traditionnelles des capacités des modèles et de l'entraînement ultérieur ne suffisent pas à garantir qu'un système est exempt de portes dérobées conditionnelles. Les opérateurs font face à un risque réel selon lequel la compromission pourrait provenir des données consommées dans les pipelines d'entraînement de la victime ou des points de contrôle (Checkpoints) préparés par des tiers avant la distribution.
Recommandations et directives préventives
Pour renforcer la protection contre ces menaces, les chercheurs ont recommandé d'appliquer une gouvernance rigoureuse des données, d'auditer les référentiels d'entraînement et d'en vérifier l'intégrité à l'aide du hachage cryptographique. Les directives ont également insisté sur la nécessité de traiter les points de contrôle tiers comme des dépendances non fiables, de réduire les privilèges des outils accordés aux agents, et d'isoler les environnements d'exécution par le biais de conteneurs virtuels tout en surveillant l'activité des outils et en détectant toute déviation inattendue dans les réponses.