인공지능 기업 "앤스로픽"(Anthropic)은 수정된 재무 공시(S-1/A)의 세부 내용 중에서 가속화된 자기 개선(RSI) 능력을 갖춘 모델 개발에 근접했다고 경고하는 주목할 만한 신호를 드러냈습니다. 이는 인공지능이 스스로를 훈련하고 개발할 수 있게 되어 기술적 능력이 엄청나게 가속화되는 시점을 의미합니다.
개발자와 연구원들 사이에서 역자기 개선 개념은 양날의 검으로 여겨집니다. 낙관론자들이 보는 바와 같이 이 발전은 연구 생산성을 높이고 전례 없는 과학적 발견을 가속화할 유망한 도구를 나타내는 반면, 기술 보안에 관심이 있는 연구원과 관계자들은 통제력 상실의 가능성에 대한 우려를 제기합니다. 통제가 없는 상태에서 스스로의 진화된 버전을 구축할 수 있는 인공지능 시스템에 대한 인간의 통제가 상실될 수 있다는 것입니다.
공시에 따르면 실질적으로 무엇이 변했는가?
회사는 규제 문서의 위험 요소 섹션에서 연구개발 프로세스를 가속화하기 위해 이미 인공지능 시스템을 사용했으며, 이로 인해 때로는 회사가 나중에야 정확하게 파악할 수 있었던 능력의 도약이 발생했다고 밝혔습니다. 앤스로픽은 내부 추정에 따르면 책임 있는 확장 정책(Responsible Scaling Policy)에 명시된 "인공지능과 연계되어 극적으로 가속화되는 발전" 임계점에 도달할 가능성이 있다고 언급했습니다.
이러한 경고에도 불구하고 회사는 현재 어떤 모델도 아직 이 임계점을 넘지 않았다고 확인했으며, 가까운 미래에 연구개발 프로세스의 중심에 인간 요소를 유지하겠다는 약속을 강조했습니다. 회사는 인간의 감독과 진정한 이해 없이 차세대 선도 모델을 설계하고 구축하는 데 "클로드"(Claude) 모델이 완전히 독립적으로 사용되는 것을 방지하기 위한 정책 업데이트를 검토하고 있다고 설명했습니다.
이 뉴스가 중요한 이유는 무엇인가?
이 경고는 "클로드" 모델의 프로그래밍, 수학, 사이버 보안 분야 능력이 현저하고 빠르게 발전하고 있는 시점에 나왔습니다. 또한 이 공시는 주요 생성형 인공지능 기업 중 하나에서 나온 것이기 때문에 특별한 중요성을 가지며, 모델의 진화 속도와 규제 기관 및 인간이 이에 수반되는 안전 및 보안 조치를 따라잡고 통제할 수 있는 능력 사이의 잠재적 간극을 조명합니다.