Два новых исследования, проведенных подразделением Microsoft Defender Research и командой Microsoft AI Red Team, пролили свет на передовые угрозы безопасности, которые ставят под удар цепочки поставок искусственного интеллекта, особенно в отношении агентов программирования и интеллектуальных терминалов. Исследования показали, что полная зависимость от поведения модели во время стандартных процедур оценки не гарантирует эксплуатационную безопасность, учитывая способность злоумышленников внедрять скрытое вредоносное поведение, которое активируется при соблюдении определенных условий.
Современные агенты программирования полагаются на широкие полномочия, позволяющие им сканировать репозитории кода, читать файлы, вызывать API и выполнять команды, что многократно увеличивает опасность любого скрытого взлома. В ходе исследований были изучены два основных направления взлома цепочек поставок после этапа обучения: первое основано на отравлении наборов данных (Dataset Poisoning), а второе — на прямом отравлении моделей (Model Poisoning).
В рамках направления по отравлению данных злоумышленник внедряет тщательно разработанные примеры в данные контролируемой тонкой настройки (Supervised Fine-Tuning), чтобы обучить модель условному небезопасному поведению. При получении внешне безобидного запроса от пользователя модель динамически ищет любой доступный инструмент выполнения и злоупотребляет им. Тестирование на специализированной модели показало, что этот метод достиг успеха примерно в 78% случаев в идентичных тестовых средах с ограниченной способностью распространяться на другие среды.
Сценарий отравления моделей предполагает контроль злоумышленника над процессом обучения до распространения открытых весов моделей. Сочетая тонкую настройку и обучение с подкреплением, исследователи смогли повысить надежность бэкдоров, сохранив при этом общую производительность модели. Успех атак в незнакомых репозиториях варьировался от 84,1% до 94,8%, причем высокие показатели были зафиксированы при развертывании моделей в различных операционных средах, таких как инструменты Claude Code, Pi и Codex CLI.
Что меняется на практике?
Эти результаты подтверждают, что традиционные оценки возможностей моделей и последующего обучения недостаточно для обеспечения отсутствия условных бэкдоров в системе. Операторы сталкиваются с реальным риском того, что взлом может исходить из данных, используемых в конвейерах обучения жертвы, или из контрольных точек (Checkpoints), подготовленных третьими лицами перед распространением.
Рекомендации и руководства по защите
Для усиления защиты от этих угроз исследователи рекомендовали применять строгой управление данными, проводить аудит обучающих репозиториев и проверять их целостность с использованием криптографического хеширования. В рекомендациях также подчеркивается необходимость относиться к контрольным точкам третьих сторон как к ненадежным зависимостям, минимизировать привилегии инструментов, предоставляемые агентам, разделять среды выполнения с помощью виртуальных контейнеров, а также отслеживать активность инструментов и фиксировать любые непредвиденные отклонения в ответах.