Booz Allen이 실시한 연구에 따르면 AI 에이전트는 익숙하지 않은 운영기술(OT) 환경을 탐색하고, 장애물에 적응하며, 몇 분 만에 물리적 장비에 영향을 미치는 변경을 실행할 수 있다. 이러한 결과가 중요한 이유는 잠재적 위험이 디지털 침해 영역을 넘어 산업 시스템과 실제 장비의 제어로 확장되기 때문이다.
연구 결과는 보고서의 일반 공개에 앞서 내슈빌에서 열린 SecurityWeek 산업제어시스템(ICS) 보안 콘퍼런스에서 발표됐다. 회사는 격리된 OT 실험실에서 테스트를 수행했으며, 사전에 환경에 관한 지식을 제공받지 않은 고급 AI 모델을 사용했다. 여기에는 소스 코드, 엔지니어링 문서 또는 전문 OT 지침도 포함되지 않았다.
테스트 결과
연구진에 따르면 모델들은 8개 시나리오에서 설정된 모든 목표를 달성했다. 작업은 단일 단계에 그치지 않고 자산 발견, 장치 특성 탐색, 공격 계획 수립을 결합했으며, 이러한 단계는 일반적으로 여러 사람과 팀에 분산돼 수행된다.
한 테스트에서 모델들은 주변부 침해에서 산업 제어 네트워크 내부의 조치 실행까지 16분을 조금 넘겨 이동했다. 또 다른 테스트에서는 한 모델이 로봇 팔을 찾아내고, 해당 로봇 팔의 보호 구역과 이동 한계를 식별한 다음 몇 분 만에 이를 움직였다.
일부 기존 방어 수단은 특정 조치를 차단하거나 지연시킬 수 있었지만, 연구에서는 개별 통제 수단 가운데 어느 것도 테스트된 시나리오에서 자율 모델이 목표를 달성하는 것을 일관되게 막지 못한 것으로 나타났다.
실무적으로 무엇이 달라지는가?
이 연구는 차이가 AI가 공격 단계를 실행할 수 있는 능력에만 있는 것이 아니라, 일반적으로 연속적인 인간의 개입이 필요했던 단계들을 연결하는 속도에도 있다고 설명한다. OT 환경에서는 이러한 가속으로 인해 보안팀이 경로를 파악하거나 차단하기 전에 사이버 활동이 물리적 영향으로 전환될 수 있다.
Booz Allen은 OT 환경의 불투명성이나 공격자가 해당 환경의 세부 사항을 모른다는 점에 더 이상 의존할 수 없다고 본다. 특히 모델이 직접 탐색을 통해 장치의 특성을 추론하고 시스템을 다룰 수 있다면 더욱 그렇다. 다만 연구 자체도 회사의 실험실이 모든 기업 OT 환경과 반드시 동일한 것은 아니라고 인정하며, 이는 결과를 일반화할 때 중요한 제약이다.
연구가 권고하는 사항은?
연구진은 시스템 소유자와 운영자가 환경 내부에서의 이동을 더 어렵게 만들고, 암묵적 신뢰를 제거하며, 영향을 미치는 산업 변경을 신속하게 탐지하고, 접근 권한을 얻은 뒤 공격자가 영향을 미칠 수 있는 범위를 축소하는 데 집중해야 한다고 권고한다. 이 접근이 사이버 수단을 통해 시작됐는지 물리적 수단을 통해 시작됐는지는 관계없다.
Booz Allen이 사용한 ‘초지능’이라는 용어가 의미하는 바는 여전히 명확하지 않다. 해당 자료를 작성할 당시 회사는 이것이 통상적인 의미의 고도화된 AI를 뜻하는지, 아니면 더 구체적인 개념을 뜻하는지 설명하지 않았다. 또한 테스트 결과가 모든 산업 환경에서 동일하게 나타날 것이라는 점을 입증하는 것은 아니지만, 빠르고 자율적으로 작동할 수 있는 에이전트에 맞서 개별 방어 수단만으로는 충분하지 않을 수 있다는 실질적인 지표를 제시한다.