Искусственный интеллект постепенно переходит от создания ответов и контента к управлению системами, непосредственно взаимодействующими с физическим миром, такими как беспилотные транспортные средства, промышленные роботы, дроны, хирургические системы и интеллектуальная инфраструктура. В таких приложениях ошибка не ограничивается неточным результатом или плохой рекомендацией: она может привести к тому, что система не заметит препятствие, неправильно запустит механизм, резко затормозит или подвергнет людей и процессы реальным рискам.
Именно эта идея лежит в основе авторской статьи, опубликованной при поддержке Semiconductor Engineering 3 сентября 2026 года. Её авторами являются Dana Neustadter и Ilya Tolchinsky. Tolchinsky занимает должность главного менеджера по продуктам в области искусственного интеллекта в Synopsys, а Neustadter — должность старшего директора по управлению продуктами решений в сфере безопасности в этой компании. По своему характеру статья представляет взгляды и редакционные рекомендации авторов, а не объявление о продукте или результаты независимого тестирования.
Риск начинается ещё до запуска модели
Авторы подчёркивают, что угрозы для физического искусственного интеллекта возникают не только на этапе вывода и не заканчиваются на уровне программного обеспечения. Данные, используемые для обучения, могут быть неполными, предвзятыми, изменёнными или низкокачественными — независимо от того, являются ли они реальными или синтетическими. Система может с самого начала выучить ошибочные закономерности, которые не проявляются явно во время тестирования, но обнаруживаются при столкновении с иными эксплуатационными условиями.
Сенсоры представляют собой ещё одну уязвимую точку, поскольку именно камеры, LiDAR, радары, микрофоны и системы определения местоположения формируют представление системы об окружающей среде. Если эти входные данные блокируются, искажаются или подделываются, картина, на которую модель опирается при принятии решения, может измениться.
Проблема не ограничивается отдельными компонентами. Роботизированная платформа, например, может объединять компонент восприятия, компонент планирования движения и третий компонент, отвечающий за управление. Временная задержка, различия во входных данных, дрейф модели или взлом одного из компонентов могут привести к потере синхронизации и появлению поведения, которое трудно предсказать.
От корней доверия до поведения во время работы
Поверхность атаки также распространяется на аппаратное обеспечение, включая кремний, встроенные блоки интеллектуальной собственности, ускорители и соединительные интерфейсы. В статье отмечается, что слабый корень доверия в аппаратном обеспечении, небезопасный путь обновления встроенного программного обеспечения или повторное использование уязвимого блока интеллектуальной собственности в нескольких продуктах могут подорвать защиту, существующую на более высоких уровнях.
Агентные системы искусственного интеллекта добавляют ещё один уровень сложности, поскольку перемещаются в динамичных средах, принимают решения и изменяют своё поведение в реальном времени. Поэтому авторы считают, что однократной проверки модели перед развёртыванием недостаточно. Вместо этого они призывают к непрерывному обеспечению безопасности во время работы, чтобы отслеживать, остаются ли выходные данные в пределах безопасной эксплуатации по мере изменения условий.
Что меняется на практике?
Практический вывод статьи заключается в том, что доверие необходимо формировать на уровне всей системы — от кремния до программного обеспечения, — а не ограничивать его уровнем приложения. Это требует проверки происхождения данных, контроля целостности моделей, защиты цепочек поставок аппаратного и программного обеспечения, аутентификации обновлений и мониторинга того, как система ведёт себя при неопределённых или противоречивых входных данных.
Важность этого подхода заключается в том, что он связывает безопасность с эксплуатационной надёжностью: одна лишь защита сети не гарантирует, что сенсоры достоверно измеряют окружающую среду, а одна лишь точность модели не гарантирует, что решение будет выполнено в безопасных пределах. Однако статья не предлагает количественного стандарта или конкретного механизма реализации для измерения таких гарантий и не приводит экспериментальных данных, сопоставляющих различные методы. Поэтому её призыв формировать доверие на протяжении всего жизненного цикла остаётся общей концепцией, которую в каждом приложении необходимо преобразовать в измеримые тесты и средства контроля.