마이크로소프트 디펜더 연구팀(Microsoft Defender Research)과 마이크로소프트 AI 레드팀(Microsoft AI Red Team)이 수행한 두 건의 새로운 연구는 인공지능 공급망, 특히 코딩 에이전트 및 스마트 터미널과 관련된 고위험 보안 위협을 조명했습니다. 연구에 따르면, 공격자가 특정 조건이 충족될 때 활성화되는 숨겨진 악성 행위를 심을 수 있기 때문에 일반적인 평가 과정에서 모델의 행동에만 전적으로 의존하는 것은 운영상의 안전을 보장하지 않습니다.
현대 코딩 에이전트는 코드 저장소 검사, 파일 읽기, API 호출, 명령어 실행이 가능한 광범위한 권한에 의존하며, 이는 은밀한 침해의 위험을 배가시킵니다. 연구는 훈련 단계 이후 공급망을 침해하는 두 가지 주요 경로를 조사했습니다. 첫 번째는 데이터셋 오염(Dataset Poisoning)에 의존하고, 두 번째는 직접적인 모델 오염(Model Poisoning)에 의존합니다.
데이터 오염 경로에서 공격자는 지도 미세 조정(Supervised Fine-Tuning) 데이터 내부에 세심하게 설계된 예시를 주입하여 모델에게 조건부로 안전하지 않은 행동을 학습시킵니다. 사용자의 무해해 보이는 요청을 받으면 모델은 사용 가능한 모든 실행 도구를 동적으로 검색하여 악용합니다. 맞춤형 모델을 대상으로 한 테스트에 따르면, 이 방법은 동일한 테스트 환경에서 약 78%의 성공률을 기록했으며 다른 환경으로의 전파 능력은 제한적이었습니다.
모델 오염 경로는 공개 모델 가중치가 배포되기 전에 공격자가 훈련 과정을 통제한다고 가정합니다. 미세 조정과 강화 학습을 결합하여 연구원들은 모델의 전반적인 성능을 유지하면서 백도어의 신뢰성을 향상시킬 수 있었습니다. 낯선 저장소에서의 공격 성공률은 84.1%에서 94.8% 사이였으며, Claude Code, Pi, Codex CLI와 같은 다양한 실행 환경을 통해 모델을 배포할 때 높은 성공률이 기록되었습니다.
실질적으로 무엇이 바뀌는가?
이번 연구 결과는 모델 능력에 대한 전통적인 평가와 사후 훈련만으로는 시스템에 조건부 백도어가 없음을 보장하기에 충분하지 않음을 확인시켜 줍니다. 운영자들은 피해자의 훈련 파이프라인에서 소비되는 데이터나 제3자가 배포 전에 준비한 체크포인트(Checkpoints)로부터 침해가 발생할 수 있는 실제적인 위험에 직면해 있습니다.
권고사항 및 예방 지침
이러한 위협에 대한 보호를 강화하기 위해 연구원들은 엄격한 데이터 거버넌스 적용, 훈련 저장소 감사, 암호화된 해싱을 통한 무결성 검증을 권장했습니다. 또한 지침에서는 제3자의 체크포인트를 신뢰할 수 없는 종속성으로 취급하고, 에이전트에게 부여된 도구 권한을 최소화하며, 가상 컨테이너를 통해 실행 환경을 격리하고 도구 활동을 모니터링하여 응답에서 예상치 못한 편차를 감지할 것을 강조했습니다.