20명 이상의 연구자와 전문가가 작성에 참여한 한 연구 보고서는 시스템이 연구개발을 자동화하고 인간의 개입을 제한적으로만 받으면서 반복적으로 능력을 향상할 수 있게 될 경우, AI가 ‘지능 폭발’이라고 알려진 단계에 진입할 가능성이 있다고 경고한다. 이 시나리오가 현실화하면 수년간의 기술 발전이 수개월 또는 그보다 짧은 기간으로 단축될 수 있다.
이 보고서의 제목은 ‘AI 연구개발의 자동화가 지능 폭발로 이어진다면 어떻게 될까?’이며, 캐나다의 컴퓨터과학자 요슈아 벤지오, 노벨상 수상자인 제프리 힌턴, Anthropic의 공동 창립자인 잭 클라크, OpenAI의 수석 과학자인 야쿠프 파초츠키가 작성에 참여했다.
가속은 어떻게 시작될 수 있는가?
연구자들은 ‘반복적 자기 개선’이라는 개념에 주목한다. 이는 AI 시스템이 새로운 시스템 개발에 기여하고 각 단계에서 직접적인 인간의 개입 없이 능력을 향상할 수 있는 능력을 의미한다. 보고서는 AI 연구개발의 자동화가 이러한 가속이 발생할 가능성이 가장 높은 경로라고 본다. 현재 시스템이 이미 AI 기술 개발을 지원하는 데 사용되고 있으며, 개선된 버전도 신속하게 배포할 수 있기 때문이다.
보고서에 따르면 시스템이 연구개발 분야의 전문가 수준에 도달하면, 한 명의 개발자가 ‘수백만 명’의 전문 인간 연구자에 해당하는 연구 역량을 가동할 수 있을지도 모른다. 그러나 가능한 결과는 생산성 증가에만 그치지 않는다. 발전 속도가 정부와 기업, 기관이 감독 체계를 조정하고 권력을 분배할 수 있는 능력을 넘어설 수도 있다.
왜 이 소식이 중요한가?
이 경고가 중요한 이유는 논의가 새로운 모델이나 특정 상업적 능력에 국한되지 않고, AI 개발 주기 자체가 변화할 가능성을 다루기 때문이다. 이 시나리오가 실현되면 새로운 능력이 발견되는 시점과 이에 대한 통제 장치가 마련되는 시점 사이의 간격이 통상적인 규제 기간보다 훨씬 짧아질 수 있다.
보고서는 의료 발견의 가속과 기술 발전 등 잠재적 이점을 언급한다. 그러나 한편으로는 인간이 대응 수단을 고안하는 능력을 앞서는 속도로 생물학적 또는 사이버 위협을 개발하기 위해 매우 강력한 시스템이 사용될 수 있다고 경고한다. 또한 국가들이 AI에서 빠르게 우위를 확보해 사이버 공간과 같은 분야의 제한적인 발전을 결정적인 우위로 전환할 수도 있다.
때를 놓치기 전에 제안된 조치
보고서 작성자들은 잠재적인 폭발이 시작되기 전에 정부가 행동해야 한다고 촉구한다. 과정이 시작된 뒤에는 개입할 수 있는 창이 좁아질 수 있기 때문이다. 제안에는 다음이 포함된다.
- AI 기업이 연구 발전에 관한 투명한 보고서를 제출하도록 의무화한다.
- 독립 감사관이 기업 내부의 연구개발 과정을 감독할 수 있도록 허용한다.
- 시스템 발전 속도에 제한을 둔다.
- 필요할 경우 일부 연구개발 프로젝트를 중단할 수 있도록 데이터센터와 협력한다.
- 자동화된 연구개발 시스템을 인간의 통제 범위를 벗어나게 할 수 있는 경로와 분리한다.
- 다양한 시나리오에 대한 비상 대응 계획을 마련한다.
확정된 시점이 아닌 시간 추정으로서의 2028년
보고서는 수개월의 인간 노동이 필요한 연구개발 프로젝트가 2028년까지 완전히 자동화될 수 있다고 지적한다. 그러나 최신 시스템이 이 한계에 가까워지고 있음에도 현재의 생산성 향상은 아직 ‘지능 폭발’을 일으키는 데 필요한 수준에 도달하지 않았다고 설명한다.
편집부의 해석: 보고서는 이 시나리오가 발생할 확정적인 시점을 제시하지 않으며, 공급망과 특수 소재, 규제 승인이 발전을 늦출 수 있다는 점도 인정한다. 따라서 이 경고의 실질적인 가치는 2028년을 확정된 전환점으로 간주하는 데 있는 것이 아니라, 발전 속도 자체가 감독의 장애물이 되기 전에 정책 결정자들이 투명성, 중단, 대응 메커니즘을 시험하도록 촉구하는 데 있다.