NVIDIA와 다양한 기술 기업 및 오픈 소스 기관들이 Open Secure AI Alliance 설립을 발표했다. 이 연합은 인공지능 사용이 확대되는 가운데 방어 담당자들이 소프트웨어와 지능형 에이전트를 보호하는 데 도움이 되는 개방형 기술과 도구를 개발하고 공유하는 것을 목표로 한다. 이 연합은 Akrites 이니셔티브와 OpenSSF 활동을 비롯한 Linux Foundation 커뮤니티의 이니셔티브를 기반으로 하며, 개방형 기술을 사용해 취약점을 처리하고 공개하는 데 초점을 맞춘다.
이 연합에는 클라우드 컴퓨팅, 사이버 보안, 기업용 소프트웨어 및 인공지능 연구 분야의 창립 파트너들이 참여하며, NVIDIA, Adobe, Akamai, Amazon, Atlassian, Cisco, Cloudflare, CrowdStrike, Dell Technologies, Docker, GitHub, Google? 등이 포함된다.
방어 수단으로서의 개방성
연합은 사이버 방어에 개방형 모델과 개방형 운영 도구가 필요하다고 본다. 이러한 도구를 사용하면 방어 담당자들이 시스템을 검사하고 조정하며 자체 인프라에서 실행할 수 있고, 데이터를 보호하면서 단일 공급자에 대한 의존도를 줄일 수 있기 때문이다. 자료에 따르면 이러한 도구는 맞춤 설정이 가능하고 현지 환경에 적합한 제어 기능을 제공함으로써 고급 폐쇄형 모델을 보완할 수 있다.
NVIDIA는 모든 강력한 기술과 마찬가지로 개방형 모델도 보호 수단을 약화하거나 사이버 공격에 재활용하는 방식으로 악용될 수 있음을 인정한다. 그러나 자료는 이러한 위험이 개방형 시스템에만 국한되지 않으며, 모델 가중치를 폐쇄적으로 유지한다고 해서 의지가 있는 공격자들이 고급 기능에 접근하거나 이를 악용하려는 시도를 막을 수 있는 것은 아니라고 주장한다.
자료는 Hugging Face가 최근 겪은 보안 사고를 언급하며, 회사가 자체 인프라에서 오픈 웨이트 모델인 GLM 5.2를 사용해 17,000건이 넘는 작업을 분석하고 침해를 억제했다고 설명한다. 폐쇄형 인공지능 도구는 공격자와 방어자를 구분하지 못해 포렌식 분석을 방해했다. NVIDIA는 이 사례를 통해 방어 담당자들이 검사하고 수정하며 내부에서 실행할 수 있는 고급 시스템을 보유하는 것이 중요하다는 점을 설명한다.
NVIDIA의 기여와 보호 구성 요소
NVIDIA는 새로운 에이전트 운영 프레임워크 관련 연구뿐 아니라 오픈 모델, 모델 가중치 및 데이터를 연합에 기여한다고 밝혔다. 또한 NVIDIA Labs Object-Oriented Agent (NOOA) 프로젝트를 GitHub에서 오픈 소스로 제공했다. 이는 에이전트 운영 프레임워크가 모델과 더욱 원활하게 통합되도록 지원하는 것을 목표로 하는 연구 프레임워크로, 에이전트의 동작을 더욱 쉽게 테스트하고 추적하며 감사하고 거버넌스를 적용할 수 있도록 한다.
참여자들은 신원 및 격리, 안전한 모델 형식, 다중 모델 검사, 안전한 프로그래밍 워크플로를 포함하는 에이전트용 개방형 방어 생태계를 구축하고 있다. 자료가 제시한 사례로는 에이전트와 서비스의 신원을 암호학적으로 검증하기 위한 SPIFFE/SPIRE에 대한 HPE의 기여와, 원격 코드 실행에 대한 보장을 제공하면서 모델 가중치를 저장하는 형식인 Safetensors를 PyTorch 재단에 제공한 Hugging Face의 사례가 있다.
공유 인프라에 대한 촉구
NVIDIA는 정부, 기업 및 연구자들에게 데이터 세트, 평가 프레임워크, 공격 시뮬레이터 및 공격적 테스트 도구와 같은 인공지능 방어용 개방형 인프라에 투자할 것을 촉구했다. 또한 정책 입안자와 규제 기관에 개방형 모델, 운영 프레임워크 및 보안 도구를 방어 자산으로 다룰 것을 요청했다. 개방형 인공지능 시스템에 대한 포괄적인 제한은 방어 역량을 약화하고 소수의 폐쇄형 공급자에 대한 의존 집중을 심화할 수 있다고 경고했다.