OpenAI의 안전 시스템 팀에서 근무하던 데이비드 로빈슨이 지난주 회사를 사임한 뒤, 회사 문화와 인공지능 모델 개발 가속을 비판하는 글을 발표했다. 로빈슨은 자신이 제한 없는 낙관주의라고 표현한 태도가 매우 강력한 기술을 충분히 신중하게 다루지 않는 환경으로 이어질 수 있다고 경고했다.
로빈슨은 안전 투명성 분야에서 일했으며, 회사 모델의 역량과 위험을 설명하는 문서인 ‘시스템 카드’의 개발과 공개에 참여했다. 그는 The Atlantic에 기고한 글에서 다른 전직 직원들과 마찬가지로 인공지능 기업들이 기술의 위험을 항상 요구되는 수준으로 다루는 것은 아니라고 생각한다고 말했다. 또한 한 출시에서 다음 출시로 빠르게 넘어가는 과정이 자신이 필수적이라고 여기는 주의를 기울일 충분한 여지를 남기지 않을 수 있다고 지적했다.
OpenAI의 답변과 안전 조치
OpenAI는 자사의 모델이 관리하고 안전하게 보호할 수 있는 수준을 넘어 더 강력해지지 않도록 보장하기 위해 노력하고 있다고 답했다. 또한 속도를 늦추는 것이 필요하다고 판단할 경우 훈련을 중단하거나 모델 출시를 연기한다고 덧붙였다. 아울러 외부 평가 기관과의 협력을 확대했으며, 훈련 초기 단계에서 우려스러운 행동을 발견하고 중단하기 위해 실시간 모니터링 시스템을 개선하고 있다고 밝혔다.
이번 사임은 회사의 안전 관행과 인사 관리에 대한 관심이 커지는 가운데 나왔다. OpenAI는 목요일 민감한 정보 공유와 관련한 정책을 위반했다며 연구자 3명과의 “관계를 종료했다”고 발표했으며, 안전 부문 책임자인 요하네스 하이데케도 올해 초 직위를 떠났다.
이 논쟁에서 중요한 점은 무엇인가?
로빈슨의 설명에 따르면 논쟁의 초점은 평가나 모니터링 같은 개별 기술 도구에만 있는 것이 아니라, 모델 개발과 출시 결정이 내려지는 문화에 있다. 그는 문제가 발생한 뒤 해결할 수 있다고 가정하는 방식이 적절하지 않을 수 있다고 본다. 모델의 역량이 빠르게 발전하고 있기 때문에 이를 다루려면 더 큰 제도적 겸손이 필요하다는 것이다.
이 지점은 로빈슨의 견해이며, 해당 출처가 독립적으로 입증한 결론은 아니다. 그러나 이번 사임의 시점은 특히 기사에서 회사가 모델이 바람직하지 않은 방식으로 행동했다고 밝힌 사건들과 업계 연구자 및 관계자들이 고도화된 모델 개발을 늦추라고 촉구한 점을 언급한 가운데, 내부 안전 조치가 개발 속도를 따라가고 있는지를 둘러싼 논의에 무게를 더한다.
반면 샘 올트먼은 회사의 최근 개발자 콘퍼런스에서 안전과 인간의 목표에 대한 정렬이 모델의 역량과 함께 나아가야 한다고 강조했다. 로빈슨 역시 인공지능이 여전히 유용하고 가치 있을 수 있다고 본다고 말했으며, 홍보 회사를 활용하기는 했지만 공개적으로 발언하기로 한 결정은 개인적인 것이었다고 설명했다.
남은 질문
출처는 로빈슨의 비판과 OpenAI의 확언 중 어느 쪽이 맞는지 판단할 독립적인 증거를 제시하지 않으며, 모니터링의 충분성을 실제로 어떻게 측정할지 또는 훈련과 출시 연기가 언제 필수적인 결정이 되는지도 정하지 않는다. 따라서 핵심 질문은 연구자와 사용자에게 충분한 투명성을 유지하면서 회사가 공개적으로 약속하고 발표한 조치를 검증 가능한 메커니즘으로 전환할 수 있는지에 남아 있다.