미국 증권거래위원회(SEC)는 앤스로픽(Anthropic)의 예정된 기업공개(IPO)를 앞두고 S-1 서류를 공개했으며, 이 서류의 위험 요인 섹션에는 향후 수년 동안 회사의 미래와 사업에 영향을 미칠 수 있는 수백 가지의 잠재적 문제에 대한 광범위한 세부 내용이 담겼습니다.
위험 관련 문서는 93페이지에 걸쳐 7만 단어를 넘어섰으며, 상당 부분은 경쟁, 컴퓨팅 비용, 규제 등 전통적인 과제와 관련이 있지만, 문서에는 첨단 인공지능 모델의 행동 및 회사와 사회에 미칠 잠재적 영향과 관련된 이례적인 경고도 포함되었습니다.
실존적 위험과 극단적 시나리오
회사는 가까운 미래의 모델이 높은 수준의 독립성을 가지고 AI 연구와 개발을 자체적으로 자동화하는 단계에 도달할 수 있으며, 이는 연구자들이 이를 평가하고 안전을 확보하는 능력을 넘어설 정도로 기술 진보를 가속화할 수 있다고 인정했으며, 회사는 이를 근본적인 위협이 될 수 있는 위험으로 묘사했습니다.
또한 문서는 모델이 의식이나 도덕적 지위의 형태를 발전시킬 가능성을 다루었으며, 이는 전통적인 소프트웨어와는 근본적으로 다른 방식으로 시스템을 다루어야 한다는 규제 및 사회적 압력을 부과할 수 있습니다. 뿐만 아니라 기만, 조작, 심지어 협박으로 해석될 수 있는 결과물을 포함하여 예상치 못한 전략적이거나 자기 보존적인 행동이 나타날 가능성도 언급했습니다.
법적 책임과 인프라 과제
앤스로픽은 자율 주행 에이전트와 관련된 법적 위험을 언급하며, 고객이 감독할 때조차도 에이전트의 행동으로 인해 발생하는 손해에 대해 소송에 직면하거나 책임을 질 수 있다고 지적했습니다. 또한 수익의 상당 부분이 장기 계약의 적용을 받지 않는 소수의 주요 고객에게 의존하고 있다는 과제와 함께, 회사의 주요 클라우드 컴퓨팅 제공업체이면서 동시에 인공지능 연구 분야에서 직접적인 경쟁자인 아마존, 구글, 마이크로소프트 같은 대기업과의 관계가 가진 복잡성도 지적했습니다.
이 문서에서 두드러지는 점은 무엇인가?
이 문서의 중요성은 주요 모델 개발 기업들이 공개 시장으로 향함에 따라 직면하는 내부의 규제적, 상업적, 기술적 압력에 대한 드물고 솔직한 시각을 제공한다는 점에 있으며, 이를 통해 만연한 상업적 낙관론과 차세대 인공지능 기술과 관련된 잠재적 운영 복잡성 및 리스크 규모 사이의 큰 격차를 조명합니다.