영국 의회에서 열린 회의 이후 ‘초지능 인공지능’(ASI)의 위험을 둘러싼 정치적·과학적 논쟁이 커졌다. 이 회의에서 관계자들과 연구자들은 이러한 시스템이 인간이 통제하기 어려운 수준의 능력에 도달할 가능성을 경고했다. 영국의 전 국방장관 데스 브라운은 잠재적 위협이 핵전쟁의 위험에 맞먹을 수 있으며, 어쩌면 이를 넘어설 수도 있다고 말했다.
이번 회의에는 인공지능에 대한 국제 규칙 마련을 촉구하고 초지능 인공지능 개발을 금지하는 법안을 영국 의회가 논의하도록 지지하는 Control AI 연합이 참여했다. 버클리 캘리포니아대학교 컴퓨터과학자 스튜어트 러셀은 대규모 재앙이 발생할 가능성과 인류가 인공지능 시스템에 대한 통제력을 되돌릴 수 없을 정도로 상실하는 시나리오를 경고했다.
위험 규모에 대한 엇갈린 전망
Anthropic에서 정렬 연구를 담당하는 에번 허빈저는 이 기술이 향후 10년 안에 모든 인간을 죽음에 이르게 할 가능성이 10%를 넘는다고 말해 논란을 일으켰다. 이 수치는 전문가들 사이에서 합의된 결론이 아니라, 미래의 위험에 관한 더 광범위한 논의에서 허빈저의 견해로 제시된 추정치다.
이와 동시에 28세인 제이컵 콕슨은 Anthropic에서 사임했다. 그는 이전에 OpenAI에서 근무했다. 콕슨은 두 회사가 책임감 있게 행동하지 않고 있으며 초지능 인공지능에 먼저 도달하기 위한 경쟁에 갇혀 있다고 말했다. 그러나 미국의 주요 연구소들이 이 경쟁을 늦추기 위해 협력할 수 있기를 희망한다고 밝혔다. 이러한 능력이 언제 등장할지에 대해서는 전문가들 사이에 합의가 없다. 일부는 몇 년 안을 언급하는 반면, 다른 이들은 10년 이상을 예상한다.
경고에서 국제 규칙으로
노동당 소속 의원 대런 존스는 ‘초지능을 질서 있고 안전하게 개발하기 위한 다자간 조약’을 촉구했다. 그의 주장에 따르면 목표는 연구와 혁신을 중단하는 것이 아니라 발전이 가속화되는 상황에서 안전을 우선시하는 것이다. 영국 정부는 Anthropic이 최신 모델인 Mythos 5.1을 출시 전 시험을 위해 영국 인공지능 안전 연구소에 제출하지 않은 데 대해서도 우려를 표했다. 내각부는 제한된 수의 미국 기관이 이 모델에 접근할 수 있게 되었으며, 연구소와 기업 간 협력은 계속되고 있다고 밝혔다.
미국에서는 버니 샌더스 상원의원이 의회에 행동할 것을 촉구했다. 그는 미국인의 81%가 정치인들이 인공지능에 관해 조치를 취해야 한다고 본다는 설문조사 결과를 근거로 들었다. 샌더스는 이 논의를 경제와 환경, 민주주의, 개인정보의 미래와 연결한다.
이 소식이 중요한 이유는 무엇인가?
이 논쟁은 가능성을 검증하기 어려운 장기적 위험과 오늘날 관찰할 수 있는 현재의 위험 사이의 간극을 보여준다. 앤드루 로고예프스키는 현재의 시스템이 여전히 인간의 유연한 사고와는 거리가 멀며, 첨단 인공지능 기술이 비용이 많이 들거나 효용이 제한적일 수 있다고 경고했다. 데이비드 바버는 시스템이 인터넷과 다양한 시스템에 제한 없이 접근하게 되면 실질적인 문제가 악화될 수 있다고 말했다. 한편 산드라 파흐터는 허위 정보, 환경 영향, 일자리를 현실적이고 시급한 문제로 지적했다.
게리 마커스는 결정적인 차이가 인간의 이익에 부합하는 초지능 인공지능과 인간의 이익에 부합하지 않는 초지능 인공지능 사이에 있을 것이라고 본다. 그는 현재 논의에 언론의 과도한 소음과 신중함 및 책임감의 부족이 포함되어 있다는 점도 인정한다. 따라서 이 자료는 인류 멸종 시나리오가 임박했거나 확실하다는 것을 입증하지는 않지만, 위험 수준을 둘러싼 논쟁이 더 이상 학문적 논의에만 머물지 않는다는 점을 보여준다. 이 논쟁은 입법, 출시 전 시험, 모델의 시스템 접근 범위와 연결되어 있다.