Google considera la inyección indirecta de instrucciones (IPI) una amenaza evolutiva que no puede resolverse una sola vez y darse por superada. Este tipo de ataque se dirige contra aplicaciones de inteligencia artificial que interactúan con múltiples fuentes de datos y herramientas, como Workspace con Gemini, ya que el atacante puede incluir instrucciones maliciosas en los datos o las herramientas que utiliza el modelo al ejecutar la solicitud del usuario, incluso sin una entrada directa del propio usuario.
En una entrada publicada por Adam Gavish, del equipo de seguridad de la inteligencia artificial generativa de Google, la empresa explica que la expansión del uso de modelos lingüísticos grandes en la automatización agéntica, junto con la diversidad del contenido que procesan, crea un entorno en constante cambio para los ataques adversarios. Por ello, la empresa desarrolla un enfoque continuo que combina investigación de seguridad, pruebas de ataque, datos sintéticos, controles de aplicaciones y actualizaciones de modelos de aprendizaje automático y modelos lingüísticos.
Detección de ataques desde múltiples fuentes
El proceso comienza con la detección y catalogación de nuevas rutas de ataque antes de que los atacantes las exploten a mayor escala. Para ello, Google utiliza programas internos y externos, entre ellos pruebas de simulación de ataques realizadas por personas, en las que equipos especializados ejecutan ataques basados en perfiles de usuarios reales con el objetivo de descubrir deficiencias de seguridad y protección. Después, coordinan con los equipos de producto para solucionar los problemas detectados.
La empresa también emplea pruebas de ataque automatizadas mediante marcos dinámicos respaldados por aprendizaje automático. Estos marcos generan cargas útiles de ataque y las modifican algorítmicamente de forma repetida para simular amenazas avanzadas a gran escala. Esto ayuda a trazar rutas de ataque complejas y a probar la eficacia de los controles de seguridad en casos extremos que las pruebas manuales por sí solas no podrían cubrir.
Además, el Programa de Recompensas por Vulnerabilidades de Inteligencia Artificial de Google (Google AI Vulnerability Rewards Program) permite colaborar con investigadores de seguridad externos que descubren nuevos ataques que aprovechan la IPI. Google también organiza periódicamente eventos presenciales de hacking que ofrecen a investigadores invitados acceso a funciones previas al lanzamiento con el objetivo de descubrir nuevas vulnerabilidades. Después, los equipos trabajan para verificar, reproducir y solucionar los problemas.
Catalogación de vulnerabilidades y ampliación de los datos de ataque
Google también supervisa los ataques divulgados públicamente mediante fuentes de inteligencia abierta, como redes sociales, comunicados de prensa, blogs y otras. Las nuevas vulnerabilidades se extraen de estas fuentes y posteriormente se vuelven a simular y catalogar internamente para comprobar que los productos no estén afectados por ellas.
Cada nueva vulnerabilidad es analizada por los equipos de Google Trust, Security, & Safety. El proceso incluye reproducir la vulnerabilidad, comprobar que no esté duplicada, asociarla con la técnica de ataque y la categoría de impacto, y asignarla a los responsables correspondientes. De este modo, los resultados de las pruebas y las fuentes externas se convierten en una lista que puede gestionarse y supervisarse.
Después de detectar, depurar y catalogar los ataques, Google utiliza la herramienta Simula para generar datos sintéticos que amplían el alcance de los nuevos ataques. Este paso permite crear múltiples variantes del ataque con el objetivo de mejorar la integridad y la cobertura, así como preparar nuevos conjuntos de datos para entrenamiento y validación. Según la entrada, este proceso aumentó en un 75% la generación de datos sintéticos, en apoyo de la evaluación y el reentrenamiento de los modelos de defensa, así como de la actualización del conjunto de datos utilizado para calcular y comunicar la eficacia de las defensas.
Actualización de las defensas en varios niveles
Google no depende de una sola capa de protección. Las defensas deterministas, como la confirmación del usuario, la depuración de URL y las políticas de secuenciación de herramientas, responden a los nuevos ataques mediante simples actualizaciones de configuración. Estos controles se gestionan a través de un motor de políticas centralizado que incluye configuraciones para las llamadas a herramientas fundamentales, la depuración de URL y la secuenciación de herramientas. Esto permite realizar correcciones rápidas, como eliminar patrones maliciosos mediante expresiones regulares, con mayor rapidez que la de los ciclos de actualización de los modelos de aprendizaje automático o de los modelos lingüísticos.
En cuanto a las defensas basadas en aprendizaje automático, se vuelven a entrenar utilizando datos sintéticos que incluyen variantes de los ataques detectados. Google divide estos datos en conjuntos de entrenamiento y validación, de modo que la eficacia se mida con ejemplos que no se utilizaron durante el entrenamiento. Este enfoque busca proporcionar reproducibilidad y coherencia en los datos de entrenamiento y prueba, además de construir una estructura escalable hacia una actualización automática completa de los modelos en el futuro.
Las defensas basadas en modelos lingüísticos también se someten a ingeniería de instrucciones mediante la mejora de las instrucciones del sistema, basándose en ejemplos de datos sintéticos y métricas acordadas de eficacia de la defensa. Paralelamente, Google trabaja en el refuerzo del modelo Gemini para mejorar su capacidad interna de reconocer las instrucciones maliciosas presentes en los datos e ignorarlas, mientras sigue ejecutando la solicitud prevista por el usuario. La empresa afirma que este proceso mejoró la capacidad de Gemini para detectar e ignorar las instrucciones inyectadas y redujo la tasa de éxito de los ataques sin afectar a la eficiencia del modelo durante las operaciones habituales.
Medición de la eficacia antes de adoptar las mejoras
Google no se limita a añadir nuevos controles, sino que simula ataques en varias funciones y aplicaciones de Workspace, como Gmail y Docs, utilizando un conjunto unificado de activos para garantizar la coherencia de la evaluación. Para determinar el impacto real de una mejora concreta, como actualizar un modelo de aprendizaje automático o modificar una instrucción para un modelo lingüístico, la empresa ejecuta la evaluación integral con la defensa activada y después sin ella.
Esta comparación proporciona métricas de «antes y después» para verificar la eficacia del cambio y respaldar el ciclo de mejora continua. Google considera que la naturaleza de la IPI requiere una defensa multicapa y un proceso iterativo que combine investigación de seguridad, canalizaciones de procesamiento automatizadas y modelos avanzados, en lugar de depender de una solución fija para un problema cuya forma cambia a medida que evolucionan las aplicaciones agénticas y las fuentes de datos.