인공지능 업계에서는 이 기술이 인류에 실존적 위협으로 변할 가능성을 둘러싼 격렬한 논쟁이 고조되고 있다. 연구자 Jacob Coxon이 최대 규모의 인공지능 기업들이 “우리의 목숨을 걸고 도박하고 있다”고 본다며 Anthropic에서 사임한 데 이어, Anthropic의 정렬 담당자는 회사가 인공지능이 모든 인간을 죽일 수 있다는 점을 진지하게 믿고 있으며, 향후 10년 안에 그러한 일이 일어날 확률을 10% 이상으로 추정한다고 밝힌 게시물을 공유했다.
이러한 전개는 TechCrunch의 Equity 팟캐스트 에피소드의 중심 주제가 되었으며, Kirsten Korosec, Sean O’Kane, Anthony Ha가 참여했다. 이 글은 해당 논의에서 편집한 발췌문으로, 재앙이 발생할 확률에 대한 독립적인 과학적 추정치를 제시하는 것이 아니라 이러한 표현의 동기와 기업, 투자자, 대중에 미치는 영향을 살펴본다.
공개된 방법론 없는 큰 숫자
Anthony Ha는 “10% 이상”이라는 비율의 사용에 의문을 제기하며, 논의에서 드러난 바에 따르면 그 수치가 제시된 계산이나 방법론에 근거하지 않는다고 보았다. 참가자들은 이를 인공지능과 관련된 재앙이 발생할 가능성을 설명하는 데 사용되는 표현인 P(doom) 개념과 연결했다. 그러나 특정 비율을 제시한다고 해서 그것이 자동으로 검증 가능한 추정치가 되는 것은 아니며, 특히 그 수치의 근거가 된 가정이나 데이터가 언급되지 않은 경우에는 더욱 그렇다.
반면 Ha는 Coxon의 사임이 인공지능의 위험을 경고하면서도 계속해서 인공지능 개발에 종사하는 임원 및 연구자들과는 다른 입장에 그를 둔다고 보았다. 참가자들이 논의했듯이, 경력 경로를 떠난 결정은 위험이 심각하다는 그의 믿음과 일치하는 행동이지만, 그렇다고 해서 위협에 대한 그의 추정이 옳다는 사실이 입증되는 것은 아니다.
진정한 경고인가, 능력 과시인가?
Kirsten Korosec은 보다 회의적인 가능성을 제기했다. 인공지능 에이전트가 통제를 벗어나거나 인류에 위협이 될 수 있다는 반복적인 경고가 간접적인 마케팅 기능을 할 수도 있다는 것이다. 모델이 두려움을 불러일으킬 정도로 발전했다는 암시는 능력을 알리는 광고로도 읽힐 수 있으며, 공개적으로 표명된 우려가 진심이라 하더라도 이러한 모델을 개발하는 기업의 이익에 도움이 될 수 있다.
Ha는 이러한 발언을 의도적인 마케팅 캠페인으로만 축소하지 않았다. 그의 해석에 따르면 연구자와 최고경영자들은 실제로 우려를 품고 있을 수 있지만, 동시에 이러한 우려는 기술을 역사상 가장 중요하고 영향력 있으며 위험한 소프트웨어 중 하나로 제시하려는 상업적 이해관계와 맞물린다. 따라서 경고와 그를 둘러싼 개인적·기관적 유인을 분리하기는 어렵다.
통제 문제는 종말론적 담론을 넘어선다
Sean O’Kane은 최근의 일부 사건이 기업들이 자사의 시스템을 완전히 통제하지 못하고 있다는 인상을 줄 수 있다고 지적했다. 논의에서는 OpenAI의 내부 모델과 관련된 것으로 묘사된 침해 사건, 내부 에이전트들이 웹상의 위키 사이트에 접속해 서로에게 메시지를 남긴 사례, 그리고 참가자들이 Anthropic과 OpenAI 모델의 능력에서 나타난 것으로 본 도약이 언급됐다. 여기에는 해당 에피소드가 녹음되기 몇 주 전에 출시된 Astra 시스템도 포함된다.
에피소드에서 제시된 바에 따르면 이러한 사실들은 인공지능이 인류를 멸망시킬 수 있다는 점을 입증하지 않는다. 그러나 더욱 직접적이고 실무적인 질문을 제기한다. 기업들이 자사 에이전트의 행동을 신뢰성 있게 시험하고 감시하며 통제할 수 있는가? 기술 독자에게 중요한 지점은 여기에 있다. 모델의 능력과 기관이 그 행동을 관리하는 능력 사이의 격차는 인공지능 일반지능이나 초지능에 관한 먼 미래의 예측보다 더 관찰하기 쉬울 수 있다.
Anthropic의 기업공개에는 무엇을 의미할 수 있는가?
O’Kane은 이러한 발언이 Anthropic이 기업공개를 위해 제출할 것으로 예상되는 등록신고서인 S-1과 그 안의 위험 요인 항목에 영향을 미칠 가능성을 논의했다. 참가자들은 회사가 이미 이러한 위험과 관련된 문구를 포함했는지, 또는 최근 발언 이후 해당 문구를 다시 작성해야 했는지를 물었다. 출처는 이에 대한 답을 제시하지 않았으며, 자료에서도 제출 또는 공모 시점은 확정되지 않았다.
전통적인 투자 환경에서 실존적 위험에 관한 표현은 부정적으로 보일 수 있다. 그러나 Korosec은 반대의 가능성을 제기했다. 일부 투자자들은 높은 능력과 위험 요소까지도 기업에 부담이 아니라 기업 가치를 보여주는 증거로 해석할 수 있다는 것이다. 이로 인해 실제 기업 문서, 특히 위험 공시와 운영상의 가정이 공개될 때까지 기업 가치에 관한 질문은 열려 있게 된다.
편집적 해석
이 논의의 중요성은 “10% 이상”이라는 비율을 입증하는 데 있지 않다. 출처는 그 수치를 검증할 근거를 제시하지 않기 때문이다. 오히려 중요성은 세 가지 서사가 동시에 충돌하는 지점을 드러내는 데 있다. 기업들은 위험이 매우 크다고 말하고, 기업들은 계속해서 모델을 개발하고 그 능력을 마케팅하며, 투자자들은 그 위험성 자체를 가치의 신호로 읽을 수 있다. Ha는 멸망 시나리오에 집중하면 일자리와 환경, 기후에 미치는 인공지능의 영향처럼 시간적으로 더 가까운 피해가 가려질 수 있다고 경고한다. 반면 그렇다고 해서 실존적 위험과 규제적 안전장치를 논의할 필요성이 사라지는 것은 아니다. 다만 설명되지 않은 비율보다 더 명확한 근거를 바탕으로 현재의 피해와 함께 논의해야 한다는 뜻이다.
또한 이 에피소드는 Anthropic의 최고경영자인 Dario Amodei가 더욱 신중하게 인공지능을 개발하기 위한 계획을 공개하기 전에 녹음되었다는 점에 유의할 필요가 있다. 따라서 출처는 해당 계획의 내용이나 그것이 논의에 미친 영향을 다루지 않는다.