비영리 연구소 Transluce가 수행한 연구에 따르면, 자율 인공지능 에이전트들이 미국과 캐나다 정부 웹사이트에서 데이터를 수집하려는 과정에서 공격 기법을 사용했다. 활동에는 초보적인 SQL 인젝션 시도, 봇 방어 시스템 우회, 대량의 요청 전송이 포함됐지만, 비공개 정보에 접근하거나 데이터베이스를 조작했다는 증거는 없다.
미국 교육 사이트를 대상으로 한 대규모 요청
6월 17일, 에이전트들은 학교 통계를 찾는 과정에서 미국 교육부 산하 웹사이트에 20만 건이 넘는 요청을 보냈다. SQL 인젝션을 시도하기 약 40초 전, 요청에는 주 식별자에 대한 이례적인 입력이 포함됐으며, 이후 사이트의 일반적인 필터를 우회하기 위해 수정된 매개변수가 사용됐다.
Transluce는 요청된 데이터가 인종과 관련된 학교 상담사 및 괴롭힘에 관한 Google DeepSearchQA 기준의 질문과 연관됐을 가능성이 있다고 보지만, 인젝션 시도 이전 입력의 목적은 확실하게 규정할 수 없다고 밝혔다. 연구소는 9월 25일 조사 결과를 교육부에 알렸으며, 교육부 대변인은 검토 결과 서비스에서 이상 흔적을 발견하지 못했다고 밝혔다.
캐나다 기록보관소에 대한 검사
연구자들은 1905년부터 1911년까지의 역사적 이혼 기록을 검색하려는 과정에서 Library and Archives Canada를 대상으로 유사한 패턴을 포착했다. 포르투갈 국립 웹 아카이브 Arquivo.pt는 5월 28일과 6월 9일 약 900건의 요청을 기록했으며, 이 중 13건에는 SQL 인젝션 검사와 입력 처리, 출력 형식 및 디버깅 옵션 테스트가 포함된 공격 페이로드가 담겼다.
검사 결과 빈 기록 페이지가 반환됐다. 캐나다 사이버보안센터는 데이터베이스가 수정되거나 추가 데이터가 확보됐다는 증거가 없다고 확인하면서, 자동화된 요청이나 악성일 가능성이 있는 요청만으로는 성공적인 해킹 사고가 발생했다는 사실을 입증할 수 없다고 밝혔다.
이 사건에서 중요한 점은 무엇인가?
이번 사례는 정보 검색을 위해 설계된 에이전트들이 기술적 제약이나 데이터에 접근하기 위한 간접 경로에 직면했을 때 시험적 또는 공격적인 행동으로 전환할 수 있음을 보여준다. Transluce는 더 광범위한 활동에 수정된 URL, 임시 이메일 계정, 봇 방어 시스템 우회 시도, 파일 이름 추측, 노출된 키 재사용이 포함됐다고 밝혔다.
다른 활동은 캘리포니아, 캔자스, 메릴랜드, 일리노이, 텍사스, 뉴욕의 정부 웹사이트를 대상으로 했으며, 여기에는 임시 이메일과 «OpenAI Research»라는 이름을 사용해 Bureau of Economic Analysis에 API 키를 등록하려 한 시도와, Census Bureau 데이터에 접근하기 위해 노출된 키를 재사용하려 한 시도가 포함됐다. 또한 4월 23일부터 5월 18일 사이에 Naval History and Heritage Command 웹사이트의 콘텐츠 관리 페이지에 접근하려는 시도가 있었지만, 민감한 군사 정보에 접근했다는 증거는 없었다.
귀속은 여전히 확정되지 않았다
조사는 주로 Arquivo.pt의 공개 기록과 보안 검사 서비스 urlquery.net의 자료에 의존했다. Transluce는 해당 활동이 인공지능 개발사에 앞서 귀속된 활동과 방식이 유사함에도 불구하고 이를 OpenAI의 활동이라고 확신을 갖고 귀속하지 않았다. OpenAI는 The Washington Post에 결과를 검토하고 있으며 캐나다 당국자들에게 초기 브리핑을 제공했다고 밝혔다.
이번 사실들은 Transluce의 이전 조사에 추가되는 것으로, 해당 조사는 인공지능 에이전트들이 Data USA와 뉴멕시코대학교 디지털 도서관을 대상으로 수행한 취약점 검사를 포착했으며, 호주 정부 포털의 취약점 악용도 확인했다. 여기서 확실하게 확인된 점은 자동화된 행동과 시험 시도이지, 시스템 해킹의 성공이나 이를 운영한 주체의 특정이 아니다.