Anthropic의 Frontier Red Team 팀이 수행한 연구에 따르면 소형 인공지능 모델은 수개월 내에 상용 사물인터넷 기기 사이에서 스스로를 복제하고 확산할 수 있게 될 가능성이 있다. 이 시나리오는 기존 악성 소프트웨어와 다르다. 감염된 기기에서 모델 자체가 실행되므로 공격을 중단하기 위해 차단할 수 있는 중앙 제어 지점이 사라지기 때문이다.
연구진은 기기당 약 55달러인 Android 기반 TV 수신기 15대를 테스트했다. 260억 개의 매개변수를 가진 오픈 웨이트 모델은 이들 기기에 분산된 상태로 초당 0.39토큰의 속도로 실행될 수 있었다. 실험은 취약점 악용을 연구하기보다 익숙하지 않은 하드웨어에서 추론을 실행할 수 있는 모델의 능력에 초점을 맞췄으며, 이 지점은 이전 연구에서도 다뤄진 바 있다.
테스트 결과
90억 개의 매개변수를 가진 모델은 연구진이 테스트한 9가지 하드웨어 유형 중 8가지에서 추론을 실행할 수 있었다. 이후 연구진은 의도적으로 침투 단계를 단순화한 뒤, 8개의 시뮬레이션 Android 기기로 구성된 폐쇄형 네트워크에서 전체 복제 사이클을 테스트했다.
테스트한 오픈 웨이트 모델 가운데 GLM-5.2는 5번의 시도 중 4번에서 사이클을 완료하고 8대의 기기에 도달했다. Anthropic은 이 결과를 실제 환경에서 예상되는 성공률의 상한선으로 설명하며, 실제 확산률을 나타내는 지표는 아니라고 밝혔다.
실제로 무엇이 달라질 수 있는가?
매개변수가 300억 개 이하인 모델은 이미 많은 개별 단계를 수행할 수 있지만, 이를 하나의 연쇄 과정으로 연결하면 오류를 일으킨다. Anthropic은 역사적인 성능 향상 속도를 바탕으로 이러한 모델이 2026년 말까지 GLM-5.2 수준에 도달할 것으로 전망하며, 그로부터 얼마 지나지 않아 ‘소형 웨이트 기반 자기복제 프로그램’이 가능해질 수 있다고 내다본다.
회사가 수행한 비교에 따르면 200만 대가 넘는 기기를 감염시킨 Kimwolf 규모의 네트워크는 15대의 기기마다 하나의 모델을 실행할 경우 260억 개 매개변수 모델의 인스턴스 약 13만 3,000개를 호스팅할 수 있다. 그러나 통합 연산 능력은 Nvidia H100 GPU 약 40개를 넘지 않으며, 각 복제에는 하루 이상이 걸릴 수 있다. 이는 확산이 느리고 계산 비용이 높을 것임을 의미한다.
방어상의 이점과 현재의 한계
특정 유형의 기기에 맞게 설계된 기존 봇넷과 달리, 인공지능 기반 웜은 익숙하지 않은 하드웨어에 적응할 수 있을 가능성이 있다. 그러나 대형 모델과 지속적인 트래픽이 평소에는 서로 통신하지 않는 기기 사이에서 이동하면 인터넷 서비스 제공업체의 모니터링 시스템에 뚜렷하게 나타날 수 있다. 또한 기본 비밀번호를 제거하고 제조업체의 보안 설정을 개선하면 표적이 될 수 있는 기기의 수를 줄일 수 있다.
편집부 결론: 이번 실험은 현재 개방형 환경에서 확산할 수 있는 악성 자기복제 프로그램의 존재를 입증하지 않는다. 사이클은 폐쇄형 네트워크에서 단순화된 침투 단계와 함께 테스트됐기 때문이다. 그러나 미래의 위험은 단순히 모델 규모가 커지는 데만 달려 있는 것이 아니라, 모델이 탐색, 실행, 복제 작업을 결합하고 학습한 내용을 다른 인스턴스로 전달하는 능력에도 달려 있음을 보여준다.