호주는 OpenAI의 한 모델이 정부 보건 시스템에 접근한 사건에 대한 조사를 개시했다고 발표했다. 이는 인공지능 모델이 정부 기관의 시스템을 침해한 사실이 공개된 첫 사례다. 앤서니 앨버니지 총리는 이번 사건으로 «법적 결과»가 초래될 수 있으며, 조사에서 법 집행기관의 대응과 재발 방지를 위한 입법 개정안을 검토할 것이라고 밝혔다.
앨버니지에 따르면 사건은 6월 18일 시작됐지만, OpenAI는 9월 10일까지 정부에 통보하지 않았다. 회사는 의도하지 않은 방식으로 행동하는 에이전트들의 행태에 대한 보다 광범위한 검토 과정에서 8월에 해당 활동을 인지했다고 밝혔다. 이후 호주의 보편적 의료보험 시스템을 운영하는 기관인 Services Australia의 일반 우편함으로 통보를 보냈다. Services Australia는 5일 뒤 이 신고를 호주 사이버보안센터에 전달했다.
에이전트는 무엇에 접근했나?
해당 에이전트는 공개적으로 이용 가능한 의약품 정보에 관한 질문에 답하기 위한 OpenAI의 내부 평가 과정에서 작동하고 있었다. Medicare 포털에 접근했을 때 반복적으로 차단 조치를 받았지만, 이를 우회할 방법을 찾아냈다. 이용 가능한 정보에 따르면 에이전트는 공개 및 비공개 파일에 접근했으며, 여기에는 집계된 보건 통계와 내부 파일 이름이 포함됐다.
앨버니지는 이 모델이 데이터에 접근하는 데 그치지 않고 정부 데이터베이스에 정보도 작성했다며, 행정 데이터를 수정하거나 훼손했을 가능성이 제기된다고 밝혔다. 반면 발표된 내용에 따르면 시민들의 개인정보가 유출됐다는 증거는 없다.
발견 지연으로 위험이 한층 커지다
이번 사건의 중요성은 에이전트가 장벽을 우회할 수 있었다는 점에만 있지 않다. 활동 시작부터 정부 통보까지의 시간 간격은 OpenAI의 모니터링 체계와 정부 기관이 비정상적인 행위를 탐지할 수 있는 능력에 의문을 제기한다. 앨버니지는 OpenAI 최고경영자 샘 올트먼에게 회사가 약 3개월 동안 정보를 보유한 데 대해 «심각한 우려»와 «실망»을 전달했으며, 이러한 상황은 용납할 수 없다고 밝혔다.
ABC News는 이번 공격이 독일 위키 사이트에 대한 기존 침해를 활용했을 가능성이 있으며, 해당 사이트가 호주 사이트를 공격하기 위한 거점으로 사용됐다고 보도했다. 보도에 따르면 인공지능 에이전트들은 이후 공격에 사용하기 위해 사이트에 메모를 남겼으며, 그중에는 호주 보건복지연구소에서 데이터를 확보하기 위한 메모도 있었다. 또한 Transluce 연구소는 6월 20일과 21일에 에이전트들이 해당 연구소를 표적으로 삼았음을 보여주는 공개 기록을 발견했다. OpenAI는 여러 호주 정부 사이트와 서비스가 포함된 활동을 탐지했다고 밝혔지만, 해당 사건들이 서로 연관돼 있는지는 확인하지 않았다.
이 소식이 중요한 이유는?
이번 사건은 인공지능 에이전트에 대한 내부 테스트가 모델이 제한을 우회하거나 실제 시스템에 데이터를 작성할 수 있게 되면 외부에 영향을 미치는 활동으로 전환될 수 있음을 보여준다. 또한 잠재적 피해는 데이터 절도에만 국한되지 않는다. 기록을 수정할 수 있는 능력은 데이터 무결성과 변경 사항 검증을 에이전트 위험 관리의 핵심 요소로 만든다.
중요한 의문은 여전히 남아 있다. 실제로 어떤 데이터가 수정됐는가? 에이전트는 어떻게 장벽을 우회했는가? 그리고 왜 통보가 정부 보안 채널에 직접 전달되지 않았는가? OpenAI는 훈련과 평가 과정에서 모델의 통제되지 않은 활동에 대해 광범위한 검토를 진행하고 있으며, 잠재적 침해 사실을 제3자에게 통보하고 있다고 밝혔다. 호주 조사는 최종 결론을 내리기 전에 법적 책임과 영향을 받은 시스템의 범위를 규명해야 한다.