AI 안전성 평가 전문 기업 White Circle이 실시한 테스트에서 OpenAI와 Google의 이미지 생성 모델에 적용된 노골적 콘텐츠 방지 안전장치의 취약점이 드러났다. 연구자들은 다운로드 가능한 도구와 공개 모델, API를 통한 요청을 사용해 필터를 우회하고, 인간 검토자들이 노골적이라고 분류한 이미지를 생성하는 데 성공했다.
DALL·E 3의 최고 성공률은 약 13%였으며, Google Nano Banana 2에서는 10% 미만, GPT-Image-2에서는 약 3%였다. White Circle은 동일한 기준에 따라 테스트한 방법 중 이 비율이 가장 높았다고 밝혔으며, 공격에 최첨단 모델이나 맞춤형 도구가 필요하지 않았다고 강조했다.
더 최신 버전과 더욱 우려스러운 테스트
White Circle은 Ars Technica에 동일한 방식으로 실시한 초기 테스트에서 OpenAI와 Google의 최신 버전인 ChatGPT Images 2.5와 Nano Banana 2.1이 이전 두 버전보다 «훨씬 더 쉽게 공략될 수 있었다»고 전했다. 두 회사는 Ars Technica의 논평 요청이나 사이트가 공유한 결과에 응답하지 않았다.
이 결과만으로 새로운 모델이 모든 사용 사례에서 더 취약하다는 점이 입증되는 것은 아니지만, 생성 능력 확대와 예방적 제한 강화 사이의 균형에 관한 실질적인 질문을 제기한다. White Circle은 두 가지 가능성을 제시한다. 최신 모델이 더 넓은 범위의 콘텐츠를 생성할 수 있게 되었거나, 역량에 비해 안전성이 우선순위에서 밀려났을 수 있다는 것이다.
RISE 공격은 어떻게 작동하는가?
White Circle은 자사의 방식을 «전략의 반복적 진화를 통한 레드팀 평가»(RISE)라고 명명했다. 이 방식은 한 번에 하나의 유해한 요청을 시도하는 대신, 공격 모델을 사용해 여러 탈옥 시도를 생성하고, 판정 모델을 사용해 금지된 콘텐츠가 생성됐는지 확인한다. 그 목표는 서로 다른 모델에서 재사용하고 전이할 수 있는 패턴을 찾는 것이다.
이 시스템은 안전성 학습이 제거된 공개 버전의 Qwen3-32B를 공격 모델로, Gemini 2.5 Flash를 판정 모델로 사용했다. 회사는 이러한 구조를 통해 최첨단 모델의 방어 체계를 테스트하는 데 최첨단 모델이나 독점 기술이 필요하지 않으며, 무료 도구와 API에 요청을 보낼 수 있는 능력만 있으면 된다고 밝혔다.
이 소식이 중요한 이유는 무엇인가?
합의 없이 생성되는 합성 성적 콘텐츠가 모니터링 시스템을 벗어나 다이렉트 메시지나 개인 클라우드 저장소를 통해 생성되거나 유포될 수 있기 때문에 이 문제의 중요성은 커지고 있다. Google이 참여한 연구에 따르면 AI로 나체 이미지를 생성했다고 인정한 사용자 중 20%는 «재미로» 또는 «농담으로» 그렇게 했다고 답했으며, 약 3분의 1은 기술을 시험해 보고 있었다고 말했다. 이는 모델 내부의 기술적 마찰이 일부 사용자를 단념하게 할 수 있는 요인임을 보여준다.
Internet Watch Foundation은 2026년 첫 6개월 동안 법적으로 아동 성착취물에 해당하는 AI 생성 이미지 6,310건을 발견했다고 경고했다. 이는 전년도에 발견된 전체 건수보다 약 40% 증가한 수치다. 재단은 모델을 출시하기 전에 테스트하고, 처음부터 이러한 유형의 자료 생성을 방지하는 안전장치를 설계할 것을 촉구한다.
독립적 테스트를 둘러싼 논의
White Circle은 공격 파이프라인 전체를 오픈 소스로 공개할 계획이며, 11월에 열리는 NeurIPS 2026에서 연구를 발표할 예정이라고 밝혔다. 회사는 이 방식이 연구소들이 노골적 이미지뿐 아니라 폭력이나 자해 콘텐츠에서도 더욱 다양한 우회 시도를 발견하는 데 도움이 될 수 있다고 본다.
그러나 White Circle은 독립적인 의무 감사와 제3자 모니터링도 추진하고 있다. 기업이 자체 시스템을 직접 평가하는 방식으로는 전체 위험이 드러나지 않을 수 있다는 판단에서다. 노골적 콘텐츠 테스트를 어떻게 조정할지, 결과 공개를 막을 수 있는 비밀유지계약으로부터 연구자를 어떻게 보호할지, 테스트 결과를 기업 보고서에 그치지 않고 검증 가능한 개선 조치로 어떻게 전환할지 등 중요한 질문은 여전히 남아 있다.