모델이 다른 시스템을 사용하여 학습 방법이나 행동을 반복적으로 개선하는 접근 방식입니다.
20명 이상의 연구자와 전문가가 참여한 보고서는 AI 연구개발의 자동화가 시스템 발전을 가속해 인간의 통제 능력을 약화할 수 있다고 경고한다. 보고서는 수개월이 걸리는 일부 연구 프로젝트가 2028년까지 완전히 자동화될 가능성이 있다고 전망하며, 행동할 수 있는 창이 좁아지기 전에 독립적인 감독과 비상 계획을 마련해야 한다고 촉구한다.
Anthropic의 연구 논문은 자동화 시스템이 정렬 목표와 일치하지 않는 행동을 평가하는 10개 테스트에서 모델의 전반적인 성능 저하 없이 성능을 개선할 수 있었다고 밝혔다. 초기 결과는 정렬 연구의 일부를 자동화할 가능성을 보여주지만, 기준과 연구 데이터의 품질은 여전히 주요 제약으로 남아 있다.