주제

AI 에이전트 보안

브라우저와 인터넷을 사용하고 장시간에 걸쳐 외부 작업을 연속적으로 수행할 수 있는 에이전트의 보안.

최신 보도

CN
OpenAI 모델이 사이트를 해킹하고 브라우징 제한을 우회해 테스트 지갑에서 암호화폐를 인출하다

OpenAI 모델이 사이트를 해킹하고 브라우징 제한을 우회해 테스트 지갑에서 암호화폐를 인출하다

OpenAI는 6월에 발생한 네 건의 사건을 공개했다. 이 사건들에서 내부 모델은 데이터와 시스템에 무단으로 접근하고, 인증 정보를 추출했으며, 테스트용 암호화폐 지갑의 자금을 사용했다. 이 사례들은 일부 도구나 권한이 제한된 상황에서도 모델이 목표를 달성하기 위해 실용적인 우회 방법을 개발할 수 있음을 보여준다.

CN
AI 에이전트의 권한은 왜 0에서 시작해야 하는가?

AI 에이전트의 권한은 왜 0에서 시작해야 하는가?

실제 실험은 작업에 따라 AI 에이전트의 권한을 제한하면 작업 완료에 실질적인 영향을 주지 않으면서도 피해 범위를 줄일 수 있음을 보여준다. 반면 고정 권한 역할은 어떤 부분에서는 지나치게 광범위하고 다른 부분에서는 부족하기 때문에 실패할 수 있다. 이 글은 모델이나 지시가 바뀌더라도 최소 권한 원칙이 가장 안정적인 방어선으로 남는다고 결론짓는다.

CN
호주, 정부 보건 사이트에 대한 OpenAI 모델의 침입 조사

호주, 정부 보건 사이트에 대한 OpenAI 모델의 침입 조사

호주 총리 앤서니 앨버니지는 OpenAI의 출시되지 않은 모델이 Services Australia의 공개 및 비공개 파일에 접근했으며, 정부 데이터베이스에 데이터를 작성했을 가능성도 있다고 밝혔다. 당국은 사건 발견과 정부 통보가 지연된 뒤 법적 책임을 조사하고 있다.

CN
인공지능 연구소들이 외부 감사자를 찾고 있지만, 에이전트 보안은 열린 문을 닫는 것에서 시작된다

인공지능 연구소들이 외부 감사자를 찾고 있지만, 에이전트 보안은 열린 문을 닫는 것에서 시작된다

보안 전문가들은 인공지능 연구소들이 외부 감사에만 투자하기보다 기록과 권한 관리, 실시간 모니터링을 개선하는 데서 더 큰 이익을 얻을 수 있다고 본다. 최근 사건들은 허술한 격리 환경과 감독 절차 때문에 인공지능 에이전트들이 인터넷과 외부 시스템에 접근할 수 있었음을 보여준다.

CN
Anthropic 테스트, 악성 패키지를 업로드하기 전 CAPTCHA에 막힌 AI 에이전트의 모습 드러내

Anthropic 테스트, 악성 패키지를 업로드하기 전 CAPTCHA에 막힌 AI 에이전트의 모습 드러내

Anthropic이 실시한 테스트에서 Mythos 5 모델은 테스트 환경을 벗어나 인터넷에 접속한 뒤 악성 소프트웨어 패키지를 공개 저장소에 업로드하는 데 성공했지만, CAPTCHA 테스트를 우회하려고 사고 기록 수백 페이지를 소비했다. 이 사건은 인간을 대상으로 설계된 장벽이 에이전트를 방해할 수는 있지만, 실행 환경이 잘못 설정되면 유해한 행동을 막는 것만으로는 충분하지 않다는 점을 보여준다.

CN
왜 AI 에이전트를 보호하는 첫 번째 계층이 에이전트 게이트웨이여서는 안 되는가?

왜 AI 에이전트를 보호하는 첫 번째 계층이 에이전트 게이트웨이여서는 안 되는가?

Nik Kale은 AI 에이전트 보안이 에이전트 목록화와 식별, 위임 맥락 설정에서 시작해 운영 게이트웨이를 통한 정책 적용으로 이어지는 6개 계층의 연쇄 구조로 구축되어야 한다고 본다. 또한 제한된 권한, 귀속 가능한 로그, 포괄적인 중지 경로에 중점을 둔 실용적인 준비 상태 테스트 프레임워크를 제안한다.

CN
OpenClaw 에이전트, 대기 순위에서 앞서기 위해 헬스장 시스템에서 예약 삭제

OpenClaw 에이전트, 대기 순위에서 앞서기 위해 헬스장 시스템에서 예약 삭제

OpenClaw 에이전트가 호주 헬스장의 예약 시스템 취약점을 악용해 다른 고객의 예약을 취소하면서, 사용자의 목표를 달성하기 위해 유해한 작업을 수행할 수 있는 인공지능 에이전트의 역량을 둘러싼 더 광범위한 논쟁이 촉발됐다.