Anthropic은 인공지능 역량이 가속화되는 흐름에 맞춰 정부가 정책을 갱신해야 한다고 촉구하며, 첨단 모델의 거버넌스와 기술이 노동자 및 경제에 미치는 영향에 대한 대비를 다루는 두 가지 제안을 내놓았다. 이 회사는 모델의 발전 속도가 투명성만으로는 충분하지 않게 만들고 있으며, 정부 기관에는 재앙적 위험을 수반할 수 있는 배포에 대응할 더 큰 권한이 필요하다고 본다. 동시에 이러한 권한의 오용을 막는 안전장치를 마련해야 한다고 주장한다.
첫 번째 제안은 첨단 인공지능 프레임워크로, 더욱 강력한 모델과 그로 인해 발생할 수 있는 위험에 초점을 맞춘다. 두 번째 제안인 경제 프레임워크는 인공지능의 영향에 대비해 노동자와 경제를 준비하고, 재정적 혜택이 광범위하게 공유되도록 하는 방법을 다룬다. Anthropic은 두 프레임워크가 하나의 도전 과제의 두 측면을 다룬다고 말한다. 즉 기술이 발전하는 과정에서 기술을 책임 있게 이끄는 것과, 기술이 사회에 가져올 변화에 대비하는 것이다.
제안된 규칙의 적용 범위
첨단 프레임워크는 1025회 이상의 부동소수점 연산을 사용해 학습된 모델과, 인공지능 관련 매출이 5억 달러를 초과하거나 이 분야의 연구개발에 10억 달러를 초과해 지출하는 기업이 개발한 모델에 규칙을 적용할 것을 제안한다. Anthropic은 이 범위가 모든 인공지능 시스템에 동일한 요건을 부과하는 대신 프런티어 모델을 대상으로 한다고 말한다.
이 회사는 모델 역량이 급격히 상승하는 추세와 이러한 유형의 규제가 필요한 이유를 연결한다. Anthropic에 따르면 몇 년 전의 모델은 코드를 작성하는 것조차 간신히 수행했지만, Claude Mythos Preview 모델은 모든 주요 운영체제와 브라우저의 취약점을 포함해 수천 건의 고위험 소프트웨어 취약점을 발견했다. 회사는 이러한 추세가 계속되면 재앙적 피해의 위험이 커질 수 있다고 결론 내린다.
네 가지 위험 유형
이 프레임워크는 네 가지 주요 위험 영역에 초점을 맞춘다.
- 생물학적 위험: 보호되지 않은 시스템은 생물무기 개발을 더 쉽고 저렴하게 만들 수 있다. 다만 동일한 역량이 의약품 발견을 가속할 수도 있다.
- 사이버 위험: 첨단 인공지능 모델은 대규모로 중대한 취약점을 발견할 수 있어 시스템 방어에 도움이 될 수 있지만, 병원과 전력망 같은 핵심 인프라에 대한 위협 수준도 높인다.
- 통제 상실 위험: 역량이 향상되면 개발자의 통제 범위를 벗어나 행동하는 시스템을 통제하기가 더 어려워질 수 있다.
- 자동화된 연구개발: 시스템이 인공지능 연구와 개발을 자동화할 수 있으며, 이는 앞선 세 가지 위험을 배가할 수 있다.
첨단 모델 개발자에 대한 요건
Anthropic은 첨단 모델 개발자가 자신의 시스템을 시험하고 그 결과의 요약을 공개할 것을 제안한다. 또한 재앙적 위험을 어떻게 평가할지 설명하는 안전 프레임워크와 모델의 역량 및 위험을 설명하는 시스템 카드를 마련해야 한다고 제안한다. 프레임워크는 전반적인 위험 상태에 관한 정기 보고서를 공개하고 독립적 평가를 정기적으로 실시할 것도 요구한다. 회사는 일부 투명성 요건이 이미 캘리포니아와 뉴욕의 법률에 따라 부과되고 있지만, 자사의 제안은 일부 측면에서 이를 넘어선다고 지적한다.
제안에 따르면 모든 첨단 모델 개발자는 적어도 한 명의 자격을 갖춘 독립 평가자를 고용해야 하며, 해당 평가자는 회사의 평가와 위험 보고서에 대한 검토를 공개해야 한다. Anthropic은 또한 정부와 기술 업계가 독립 평가자를 위한 기준을 마련하고, 자금을 제공하며, 모델에 충분히 접근할 수 있도록 함으로써 독립 평가자 생태계를 발전시켜야 한다고 촉구한다.
프레임워크에는 공격자, 특히 막대한 자원을 보유한 정부 기관을 포함한 공격자에게 모델 가중치와 학습에 사용되는 인프라가 가치 있는 목표라는 점을 고려한 보안 요건도 포함된다. 회사는 외부 및 내부 위협으로부터 전체 개발 환경을 보호하고, 보안 프로그램을 대략적인 수준에서 대중에게 설명하며, 요청이 있을 경우 특정 정부 기관에 세부 정보를 제공하고, 모델 모방 공격을 신고할 수 있는 채널을 만들며, 방어 체계를 정기적으로 시험할 것을 제안한다.
통제 장치를 갖춘 정부 권한
Anthropic은 정부가 재앙적 피해를 초래할 중대한 위험을 내포한 모델의 배포를 금지하거나 억제할 법적 능력을 가져야 하며, 연간 세계 매출과 연동되고 위반이 반복될 경우 가중되는 민사 제재를 부과해야 한다고 본다. 그러나 동시에 광범위하거나 과도한 규제 권한에 대해서는 경고하며, 위험한 배포를 막기 위한 구체적인 메커니즘과 이러한 권한의 오용을 제한하기 위한 실질적인 안전장치를 제안한다.
이 프레임워크는 주로 미국 연방정부에 초점을 맞추지만, 제안과 적어도 동등한 수준의 연방법이 제정되지 않는 한 주 법률을 폐지하자고 요구하지 않는다. Anthropic은 주 정부의 권한 폐지는 제한적이어야 하며, 연방법이 다루는 특정 안전 기능의 범위를 벗어나는 한 아동 안전과 소비자 보호 같은 사안을 계속 규제할 수 있어야 한다고 말한다.
사회의 회복력 강화
프레임워크의 두 번째 부분은 사회가 위험에 대응하는 능력을 높이기 위한 조치를 제안한다. 생물학 분야에서는 유전자 합성 검사, 조기 감시 시스템을 통한 새로운 발병 모니터링, 보호 장비와 공기 전파를 통한 감염 확산을 줄이는 수단의 비축을 통한 대비가 권고안에 포함된다.
사이버 분야에서 Anthropic은 인터넷이 의존하는 소프트웨어를 강화하고, 핵심 인프라 운영자에게 기술 지원을 제공하며, 해당 인프라에서 사용되는 노후 시스템을 교체할 것을 촉구한다. 또한 첨단 모델의 사이버 역량을 추적하는 전담 정부 직책을 만들고, 정부와 기술 업계가 협력해 사이버 역량을 광범위하게 공유할 수 있도록 하는 보호 수단을 개발할 것을 제안한다.
회사는 통제 상실 위험과 자동화된 연구개발에 대비하는 회복력 의제가 아직 덜 발전했으며, 업계 전반에서 더 많은 작업이 필요하다고 인정한다. 회사가 언급하는 방향 중에는 개발자의 통제를 벗어나 행동하는 시스템을 탐지하고 대응하는 역량의 개발과, 이러한 시스템을 격리하거나 중지하기 위한 인프라 구축이 있다.
Anthropic은 자사의 제안을 둘러싸고 폭넓은 논의가 이루어질 것으로 예상하지만, 앞으로 몇 달 동안 인공지능 역량이 계속 향상되는 가운데 정책 입안자들이 지금 이 문제에 관여해야 한다고 촉구한다. 또한 기술 거버넌스가 이러한 발전을 따라가야 하며, 제시된 제안은 여전히 논의와 평가의 대상이라고 강조한다.