GitHub은 코드 리뷰 에이전트를 평가하기 위한 공개 벤치마크 ReviewBench를 출시했다. 이는 AI 기반 리뷰 도구의 핵심 문제인 발견한 오류와 놓친 오류, 그리고 생성하는 잡음의 양을 비교하기 어렵다는 문제를 해결하려는 시도다. 이 벤치마크는 코드 리뷰 시스템을 개발하는 연구자와 팀에 제공되며, 사용자 지정 시스템을 입력해 다른 시스템과 비교하는 기능도 제공한다.
실제 풀 리퀘스트를 기반으로 한 벤치마크
GitHub은 플랫폼에서 발생한 1억 390만 건 이상의 풀 리퀘스트 분포를 분석해 ReviewBench 세트를 설계했다. 이 세트에는 오픈 소스로 허가된 187개 공개 저장소의 풀 리퀘스트 219개가 포함되며, 19개 프로그래밍 언어를 다룬다. 언어와 저장소 규모의 분포는 GitHub의 전반적인 양상에 맞췄다. 다만 한 파일의 작은 변경에 지나치게 집중하지 않도록 변경 규모에는 중간 및 대규모이며 검토 가능한 풀 리퀘스트에 유리하게 가중치를 다시 적용했다.
GitHub이 ‘정답 집합’이라고 부르는 것은 단일 출처에 의존하지 않는다. 사람이 수행한 리뷰, 풀 리퀘스트 작성자가 이후에 진행한 변경, 정적 분석 도구, 여러 고급 언어 모델에서 잠재적 결과를 수집했다. 의미상 중복되는 결과를 제거한 뒤, 올바른 결과는 정확하고 관련성이 있으며 사소하지 않아야 한다는 통일된 기준에 따라 평가했다. GitHub은 Claude Sonnet 5 모델을 언어 평가자로 사용하며, 감사 가능성과 재현성을 높이기 위해 평가 기준표와 평가 설정을 공개한다.
새로운 오류 발견을 불이익으로 처리하지 않는 지표
ReviewBench는 두 가지 지표군을 구분한다. grounded precision, grounded recall, grounded F1 지표는 정답 집합에 이미 존재하는 문제를 시스템이 발견하는 능력을 측정해 시스템 간 직접적인 비교를 제공한다. 반면 augmented precision, augmented recall, augmented F1 지표는 알려진 문제와 일치하지 않는 결과도 검토하며, 평가자가 해당 결과를 올바른 문제라고 입증하면 시스템에 점수를 부여한다.
이 구분은 중요하다. 고정된 오류 집합이 반드시 완전할 수는 없기 때문이다. 새로운 에이전트가 벤치마크 작성자가 포착하지 못한 문제를 발견할 수도 있다. GitHub은 시스템 간 비교의 주요 지표로 grounded recall을 사용하고, 확장 지표는 각 시스템에 대한 추가 진단을 제공한다.
조정 가능하고 감사 가능한 평가
결과는 정확성, 보안, 신뢰성, 유지보수성, 테스트와 같은 문제의 심각도와 범주별로 나눌 수 있다. 또한 Fβ 지표를 사용하면 재현율과 정밀도 사이의 가중치를 변경할 수 있어, 사용자가 더 넓은 범위의 탐지를 선호할지 아니면 더 적고 정확한 댓글을 선호할지 선택할 수 있다. 출시 전에는 데이터 구축에 참여하지 않은 수석 엔지니어들이 모든 결과에 다시 라벨을 부여했으며, ReviewBench의 판정과의 일치율은 96.6%에 달했다. GitHub은 각 평가 과정에서 사용한 데이터 버전, 평가자, 매칭 도구를 고정한다고 밝혔다.
실제로 무엇을 입증하는가?
GitHub은 ReviewBench를 사용해 Copilot Code Review의 연속적인 버전을 평가했으며, 오프라인 테스트에서 나타난 개선 또는 하락의 추세가 프로덕션 실험과 일치했다고 밝혔다. 서로 다른 모델을 여러 차례 실행한 결과를 결합하는 리뷰 시스템을 대상으로 한 실험에서 벤치마크는 정밀도와 재현율, 댓글 수의 증가와 리뷰 비용의 감소를 예측했다. 프로덕션 A/B 테스트도 같은 방향을 보였다. 코드 수정으로 이어진 댓글 비율은 8.0%, 재현율은 13.6%, 댓글 규모는 61% 증가했으며, 리뷰당 비용은 대조군과 비교해 8.0% 감소했다. 벤치마크는 또한 중요 댓글이 227% 증가할 것으로 예측했으며, 프로덕션에서는 262% 증가했다.
certi.news의 편집자 해석에 따르면 ReviewBench의 가장 중요한 가치는 새로운 도구를 출시했다는 데 있지 않고, ‘댓글이 많을수록’ 반드시 더 나은 리뷰를 의미하는 것은 아니라는 점을 인정하면서 코드 리뷰 에이전트 평가를 비교 가능하고 감사 가능한 절차로 바꾸려는 시도에 있다. 다만 해당 출처 역시 프로덕션 실험이 사용자 영향에 대한 최종 척도로 남는다고 인정하며, 평가의 일부가 언어 평가자에 의존한다는 점은 자동화된 판단의 일관성 한계에 관한 질문을 남긴다고 설명한다.
GitHub은 벤치마크의 초기 연구 버전을 제공하며, 데이터와 방법론, 평가자 설정, 자체 실행 도구를 함께 공개한다. 25개 풀 리퀘스트로 구성된 세트에서 에이전트를 테스트한 뒤, 결과를 리더보드에 게시하기 전에 3회에 걸쳐 219개 풀 리퀘스트 전체에 대한 평가를 실행할 수 있다.