Малые модели искусственного интеллекта в течение нескольких месяцев могут получить возможность копировать себя и распространяться между коммерческими устройствами Интернета вещей, согласно исследованию команды Frontier Red Team в Anthropic. Этот сценарий отличается от традиционного вредоносного программного обеспечения тем, что сама модель работает на заражённом устройстве, устраняя центральную точку управления, отключение которой могло бы остановить атаку.
Исследователи протестировали 15 телевизионных приставок под управлением Android стоимостью около 55 долларов за устройство. Модель с открытыми весами, содержащая 26 миллиардов параметров, смогла работать на них в распределённом режиме со скоростью 0,39 токена в секунду. Эксперимент был сосредоточен на способности моделей выполнять логический вывод на незнакомом оборудовании, а не на изучении эксплуатации уязвимостей — вопросе, который рассматривался в предыдущих исследованиях.
Результаты испытаний
Модель, содержащая 9 миллиардов параметров, смогла выполнять логический вывод на восьми из девяти типов оборудования, протестированных командой. Затем исследователи проверили полный цикл самокопирования в закрытой сети из восьми смоделированных устройств Android, намеренно упростив этап взлома.
Среди протестированных моделей с открытыми весами GLM-5.2 завершила цикл и достигла всех восьми устройств в четырёх из пяти попыток. Anthropic описывает этот результат как верхнюю границу ожидаемого успеха в реальном мире, а не как показатель фактической скорости распространения.
Что может измениться на практике?
Модели, содержащие 30 миллиардов параметров или меньше, уже способны выполнять многие отдельные шаги, но допускают ошибки при объединении их в единую последовательность. Исходя из исторических темпов улучшения, Anthropic ожидает, что эти модели достигнут уровня GLM-5.2 к концу 2026 года, что вскоре после этого может сделать возможными «малые самораспространяющиеся вредоносные программы на основе весов».
Согласно сравнению, проведённому компанией, сеть размером с сеть Kimwolf, заразившую более двух миллионов устройств, могла бы разместить около 133 тысяч копий модели с 26 миллиардами параметров, если бы каждые 15 устройств запускали по одной копии. Однако совокупная вычислительная мощность не превысила бы примерно 40 графических процессоров Nvidia H100, а на каждую итерацию мог бы уходить более одного дня, то есть распространение было бы медленным и вычислительно затратным.
Преимущества защиты и текущие ограничения
В отличие от традиционных ботнетов, разработанных для конкретных типов устройств, червь на основе искусственного интеллекта мог бы адаптироваться к незнакомому оборудованию. Однако передача крупных моделей и постоянный трафик между устройствами, которые обычно не взаимодействуют друг с другом, могли бы явно проявляться в системах мониторинга интернет-провайдеров. Кроме того, отказ от паролей по умолчанию и улучшение настроек безопасности производителями могли бы сократить число устройств, уязвимых для атак.
Редакционный вывод: эксперименты не доказывают существование вредоносной самораспространяющейся программы, способной в настоящее время распространяться в открытой среде; цикл проверялся в закрытой сети и с упрощённым этапом взлома. Однако они показывают, что будущий риск зависит не только от увеличения размера моделей, но и от их способности объединять задачи разведки, запуска, копирования и передачи полученных знаний другим копиям.