Google considère l’injection indirecte de commandes (IPI) comme une menace évolutive qui ne peut pas être résolue une fois pour toutes. Ce type d’attaque vise les applications d’intelligence artificielle qui interagissent avec plusieurs sources de données et outils, comme Workspace avec Gemini, car un attaquant peut intégrer des instructions malveillantes dans les données ou les outils utilisés par le modèle lors de l’exécution de la demande d’un utilisateur, même sans saisie directe de la part de celui-ci.
Dans un article publié par Adam Gavish, de l’équipe chargée de la sécurité de l’IA générative chez Google, Google explique que l’extension de l’utilisation des grands modèles de langage dans l’automatisation agentique, associée à la diversité des contenus qu’ils traitent, crée un environnement constamment changeant pour les attaques adverses. L’entreprise met donc en place une approche continue combinant recherche en sécurité, tests d’attaque, données synthétiques, contrôles applicatifs et mise à jour des modèles d’apprentissage automatique et des modèles de langage.
Détecter les attaques issues de plusieurs sources
Le processus commence par la détection et la classification de nouveaux vecteurs d’attaque avant que les attaquants ne les exploitent à plus grande échelle. À cette fin, Google utilise des programmes internes et externes, notamment des tests d’émulation menés par des équipes humaines, au cours desquels des équipes spécialisées exécutent des attaques fondées sur des profils d’utilisateurs réalistes afin de révéler les failles de sécurité et de sûreté, puis collaborent avec les équipes produit pour corriger les problèmes identifiés.
L’entreprise s’appuie également sur des tests d’attaque automatisés utilisant des cadres dynamiques soutenus par l’apprentissage automatique. Ces cadres génèrent des charges utiles malveillantes et les modifient de manière algorithmique pour simuler à grande échelle des menaces avancées. Ils contribuent ainsi à cartographier des chemins d’attaque complexes et à tester l’efficacité des contrôles de sécurité dans davantage de scénarios limites que ne pourraient en couvrir les seuls tests manuels.
Le Google AI Vulnerability Rewards Program permet également de collaborer avec des chercheurs en sécurité externes qui découvrent de nouvelles attaques exploitant l’IPI. Google organise aussi régulièrement des événements de piratage en direct, offrant à des chercheurs invités un accès à des fonctionnalités en préversion afin de découvrir de nouvelles vulnérabilités. Les équipes vérifient ensuite les problèmes, les reproduisent et les corrigent.
Indexer les vulnérabilités et élargir les données d’attaque
Google surveille également les attaques rendues publiques au moyen de sources de renseignement en sources ouvertes, notamment les réseaux sociaux, les communiqués de presse, les blogs et d’autres sources. Les nouvelles vulnérabilités sont extraites de ces sources, puis reproduites et indexées en interne afin de vérifier que les produits ne sont pas concernés.
Chaque nouvelle vulnérabilité fait l’objet d’une analyse menée par les équipes Google Trust, Security, & Safety. Le processus comprend la reproduction de la vulnérabilité, la vérification de l’absence de doublon, son rattachement à une technique d’attaque et à une catégorie d’impact, puis son attribution aux responsables concernés. Les résultats des tests et des sources externes deviennent ainsi une liste exploitable et suivie.
Après avoir découvert, affiné et indexé les attaques, Google utilise l’outil Simula pour générer des données synthétiques qui élargissent la portée des nouvelles attaques. Cette étape permet de créer plusieurs variantes d’une attaque afin d’améliorer l’exhaustivité et la couverture, et de préparer de nouveaux jeux de données pour l’entraînement et la validation. Selon l’article, ce processus a entraîné une augmentation de 75 % de la génération de données synthétiques, afin de soutenir l’évaluation et le réentraînement des modèles de défense, ainsi que la mise à jour du jeu de données utilisé pour calculer et communiquer l’efficacité des défenses.
Mettre à jour les défenses à plusieurs niveaux
Google ne s’appuie pas sur une seule couche de protection. Les défenses déterministes, comme la confirmation par l’utilisateur, l’assainissement des URL et les politiques d’orchestration des outils, répondent aux nouvelles attaques par de simples mises à jour de configuration. Ces contrôles sont gérés par un moteur centralisé de politiques qui comprend des paramètres pour les appels aux outils fondamentaux, l’assainissement des URL et l’orchestration des outils. Cela permet d’effectuer rapidement des corrections, comme la suppression de schémas malveillants à l’aide d’expressions régulières, plus rapidement que ne le permettent les cycles de mise à jour des modèles d’apprentissage automatique ou des modèles de langage.
Les défenses fondées sur l’apprentissage automatique sont, quant à elles, réentraînées à l’aide de données synthétiques comprenant des variantes des attaques découvertes. Google divise ces données en ensembles d’entraînement et de validation, afin que l’efficacité soit mesurée sur des exemples qui n’ont pas été utilisés pendant l’entraînement. Cette méthode vise à garantir la reproductibilité et la cohérence des données d’entraînement et de test, tout en établissant une structure extensible vers une mise à jour entièrement automatisée des modèles à l’avenir.
Les défenses fondées sur les modèles de langage font elles aussi l’objet d’une ingénierie des prompts, grâce à l’amélioration des instructions système à partir d’exemples de données synthétiques et de métriques convenues d’efficacité de la défense. En parallèle, Google travaille au renforcement du modèle Gemini afin d’améliorer sa capacité interne à reconnaître les instructions malveillantes présentes dans les données et à les ignorer, tout en continuant à exécuter la demande voulue par l’utilisateur. L’entreprise affirme que ce processus a amélioré la capacité de Gemini à détecter et à ignorer les instructions injectées, et a réduit le taux de réussite des attaques sans affecter l’efficacité du modèle lors des opérations habituelles.
Mesurer l’efficacité avant d’adopter les améliorations
Google ne se contente pas d’ajouter de nouveaux contrôles : l’entreprise simule les attaques sur plusieurs fonctionnalités et applications de Workspace, comme Gmail et Docs, en utilisant un ensemble normalisé de ressources afin de garantir la cohérence de l’évaluation. Pour déterminer l’impact réel d’une amélioration donnée, comme la mise à jour d’un modèle d’apprentissage automatique ou la modification d’un prompt pour un modèle de langage, l’entreprise exécute l’évaluation complète avec la défense activée, puis sans celle-ci.
Cette comparaison fournit des métriques « avant-après » permettant de vérifier l’efficacité du changement et de soutenir un cycle d’amélioration continue. Google estime que la nature de l’IPI exige une défense multicouche et un processus itératif combinant recherche en sécurité, chaînes de traitement automatisées et modèles avancés, plutôt que de s’appuyer sur une solution figée pour un problème dont la forme évolue avec le développement des applications agentiques et des sources de données.