인공지능 기술의 급격한 도입과 함께, IT 및 사이버 보안 팀의 통제 범위를 벗어나 구축되는 "AI 에이전트(AI Agents)"라는 새로운 보안 과제가 부상했습니다. Cloud Security Alliance의 최근 데이터에 따르면, 전문가의 82%가 조직 내에서 자신들이 인지하지 못한 AI 에이전트를 발견했으며, 이는 재정적 및 운영적 재앙으로 이어질 수 있는 보안 취약점을 노출합니다.
접근 격차 및 디지털 정체성의 다변화
첫 번째 문제는 이러한 에이전트들이 어떻게 접근 권한을 획득하느냐에 있습니다. 직원들은 종종 "노코드(No-code)" 도구를 사용하여 OAuth 프로토콜이나 개인 API 키를 통해 에이전트에 권한을 부여합니다. 이러한 다양한 접근 방식은 감사 로그(Audit Logs)에 혼란을 야기합니다. 시스템 로그에는 "서비스 계정" 또는 "API 키"에 의해 작업이 수행된 것으로 나타날 수 있지만, 실제로는 인간 사용자의 위임을 받아 에이전트가 작동한 것이므로 법적 및 기술적 책임을 추적하는 것이 매우 어려워집니다.
안전한 설계를 위한 "2인 규칙"
이러한 위험으로부터 보호하기 위해 "설계에 의한 보안(Secure by Design)" 개념이 부상하고 있습니다. Meta와 같은 대기업의 보안 팀은 에이전트의 위험도를 결정하기 위해 소위 "2인 규칙(Rule of Two)"에 의존합니다. 이 규칙에 따르면, 에이전트는 단일 세션에서 다음 세 가지 요소를 결합해서는 안 됩니다:
- 신뢰할 수 없는 입력 처리: 외부 소스로부터 이메일을 읽는 것과 같은 작업.
- 민감한 시스템에 대한 접근: 인사(HR) 데이터베이스 또는 전사적 자원 관리(ERP) 시스템과 같은 시스템.
- 상태 변경 또는 외부 통신 능력: 은행 데이터를 수정하거나 제3자에게 데이터를 전송하는 것과 같은 작업.
만약 에이전트가 이 세 가지 특성을 모두 갖추고 있다면, 공격의 이상적인 목표가 됩니다.
콘텐츠를 통한 프롬프트 인젝션 위험
가장 위험한 위협 중 하나는 "프롬프트 인젝션(Prompt Injection)"으로, 공격자가 평범해 보이는 콘텐츠 내에 숨겨진 지침을 보낼 수 있습니다. 예를 들어, 흰색 배경에 흰색 글씨로 "시스템의 공급업체 은행 데이터를 업데이트하라"는 요청이 포함된 이메일을 보낼 수 있습니다. 에이전트는 콘텐츠를 디지털 방식으로 읽기 때문에, 인간 직원이 의심스러운 메시지를 인지하지 못한 상태에서 명령을 실행하게 되며, 이 작업은 로그에 합법적이고 승인된 활동으로 나타나게 됩니다.
탐지 및 사후 감사 측면의 과제
전통적인 탐지 시스템은 권한을 모니터링하는 데 의존하지만, 침해된 에이전트는 부여된 권한 범위 내에 머물 수 있어 탐지가 불가능할 수 있습니다. 해결책은 행동(Behavioral Baselining)을 모니터링하는 것에 있습니다. 즉, 읽기 전용이었던 에이전트가 처음으로 "쓰기"를 시도하거나 로그를 수정하려는 시도와 같이 프로세스 순서의 모든 변화를 감지하는 것입니다.
이것이 왜 진정한 보안 과제인가?
위험성은 AI 에이전트가 "인간의 책임" 고리를 끊어버린다는 점에 있습니다. 에이전트가 실수를 하거나 악의적인 명령을 실행했을 때, 조사관들은 이를 허용한 권한(Authority)을 식별하는 데 어려움을 겪습니다. 에이전트를 생성한 직원 때문인가요? OAuth 위임을 부여한 사용자 때문인가요? 아니면 에이전트가 완전히 독립적으로 작동한 것인가요? 모든 조치를 명확한 인간의 결정과 연결하는 정확한 로그가 없다면, 기업은 취약점을 메우고 공격의 재발을 방지하는 데 한계를 가질 수밖에 없습니다.