Anthropic은 Automated Researchers Can Reliably Mitigate Alignment Failures라는 제목의 연구 논문을 발표했다. 이 논문은 정렬 목표와 일치하지 않는 특정 행동을 측정하는 테스트에서 모델의 성능을 개선하기 위해 자동화된 인공지능 시스템을 사용한 실험을 소개한다. 논문에 따르면 시스템은 10개 테스트 모두에서 성능을 높였으며, 모델의 전반적인 성능에는 악영향을 주지 않았다.
이 연구는 Anthropic 프로그램의 펠로인인 Chen Yueh-Han이 이끌었다. 시스템은 전통적인 연구 주기와 유사한 과정을 모방한다. 이용 가능한 문헌을 검색하고, 모델을 개선할 방법을 제안한 뒤, 제안된 방법을 사용해 30분 동안 모델을 훈련한다. 각 라운드가 끝나면 효과적인 방법은 후속 단계로 넘기고, 효과가 없는 방법은 제외한다. 이를 통해 실험을 빠르고 대규모로 반복할 수 있다.
실제로 무엇이 달라졌는가?
이 실험의 핵심 가치는 단순히 한 모델을 사용해 다른 모델을 훈련한 데 있지 않고, 연구 과정의 일부를 자동화 시스템으로 이전한 데 있다. 인공지능의 역할을 연구자가 정한 지시를 실행하는 데 한정하는 대신, 시스템은 연구 경로를 정하고 이를 시험하며, 성공한 것으로 입증된 방법을 남기려고 한다.
논문은 이러한 결과가 훈련 이후 자동화된 정렬 연구가 가까운 시일 내에 실용화될 수 있다는 초기 증거를 제시한다고 말한다. 여기서 말하는 것은 기본 훈련 단계 이후 모델의 행동을 개발해, 반복 가능한 테스트 기준과 훈련 방법을 바탕으로 모델이 자신에게 설정된 목표와 일치하지 않는 경우를 줄이는 것이다.
인간 연구와의 직접 비교
이 논문은 테스트 결과의 개선을 제시하는 데 그치지 않고, Automated Alignment Researcher, 즉 AAR이라고 부르는 시스템과 인간 연구자를 비교한다. 논문에 제시된 결과에 따르면 AAR 시스템이 제안한 최선의 방법은 평균적으로 6시간 동안 숙련된 인간 연구자들이 제안한 방법보다 뛰어난 성능을 보였다. 또한 인간이 주도한 연구 방향은 더 강한 성능으로 이어지지 않았다고 밝혔다.
이 비교에는 경제적 측면도 포함된다. 논문은 AAR 운영 비용을 API 추론 시간당 약 4달러로 추정하는 반면, 실험에서 인간 연구자에게 지급한 비용은 시간당 150달러였다. 이러한 수치는 자동화 시스템이 연구자를 대체할 수 있다는 점을 입증하지는 않지만, 과제를 측정할 수 있을 때 실험의 규모를 확대하는 데 연구소들이 관심을 보이는 이유를 보여준다.
왜 이것이 인공지능이 제약 없이 스스로를 개발한다는 뜻은 아닌가?
제시된 단계는 모델이 다른 시스템을 사용해 자신의 훈련 방법이나 행동을 개선하는 반복적 자기개선이라는 개념에 가까워진다. 그러나 논문 자체는 이 결과에 분명한 한계를 둔다. 기준이 제대로 측정하지 못하는 것은 시스템이 개선할 수 없다. 정렬 테스트가 실제 정렬 목표를 반영하지 못한다면, 결과를 개선하는 일이 문제 해결이 아니라 지표상 성능만 개선하는 결과로 이어질 수 있다.
또한 이 접근법에는 기준을 만들고 유지하며 확장하는 지속적인 노력이 필요하고, 자동화 연구자가 의존하는 문헌을 업데이트하는 일도 필요하다. 따라서 무엇을 측정해야 하는지 정하고, 사용된 증거와 방법이 얼마나 타당한지 평가하며, 결과가 테스트 집합 밖에서도 일반화될 수 있는지 검토하는 과정에는 여전히 인간의 역할이 남아 있다.
certi.news의 해석
여기서 중요한 결과는 정렬 연구의 자동화가 일반적인 아이디어에서 논의 가능한 수치와 비교를 갖춘 구체적인 실험으로 나아갔다는 점이다. 논문이 제시한 바에 따르면 10개 테스트, 30분 동안 진행된 훈련 라운드, 그리고 6시간 동안의 인간 제안보다 우수한 평균 성능이 그것이다. 그러나 실질적인 의미는 여전히 시스템을 이끄는 기준의 품질과 연결되어 있다. 측정된 개선은 모델이 모든 맥락에서 더 안전해졌다는 독립적인 증거가 아니며, 추론 비용과 연구자 비용의 비교 역시 감독이나 과학적 책임의 문제를 결정하지 않는다.
따라서 이 논문은 정렬 연구의 주기를 가속할 가능성에 대한 강력한 지표를 제시하지만, 연구소가 인간 연구자를 곧 필요로 하지 않게 될 것이라는 증거는 아니다. 이 논문이 남긴 열린 질문은 자동화 시스템이 인간이 사전에 설계한 특정 지표를 개선하는 것을 넘어, 더 현실적이고 복잡한 정렬 목표를 다룰 수 있을지 여부다.