一种将恶意指令置于人工智能模型处理的数据或工具中的攻击,而不是由用户直接输入这些指令。
谷歌威胁情报团队对公共网络内容开展的调查显示,不同实体已开始尝试利用间接提示注入攻击人工智能系统;在2025年11月至2026年2月期间,恶意类别中的相关检测数量增加了32%。尽管已观察到的攻击复杂程度有限,谷歌预计,随着人工智能系统能力增强以及攻击实施成本下降,此类攻击的规模和复杂程度将不断增长。
Google阐述了其持续应对针对多数据源人工智能应用的间接提示注入攻击的方法,例如集成Gemini的Workspace。该方法依靠发现攻击、对攻击进行分类、生成合成数据,然后更新确定性防御、机器学习模型和LLM,并强化Gemini模型本身。