다른 언어 모델을 사용해 시스템의 출력을 평가하거나 순위를 매기는 방식으로, 모호하거나 영향이 큰 사례에 대해서는 사람의 검토가 필요합니다.
Elastic의 Susan Chang은 AI 에이전트에 대한 산발적인 평가에서 프로그래밍 방식 평가, LLM-as-a-judge, 심층 추적을 결합한 통합 프레임워크로 팀들이 전환한 과정을 설명한다. 또한 자동화가 도메인 전문가의 필요성을 없애지 않으며, 특히 테스트 데이터 구축과 지표 보정에서 전문가가 중요하다는 점을 보여준다.
GitHub는 비밀 정보 스캔에서 오탐을 줄이기 위해 대규모 언어 모델 기반 시스템을 평가한 경험을 바탕으로, 프로덕션 전에 LLM 시스템을 평가하기 위한 일련의 실천 방안을 도출했습니다. 이 경험은 지표를 제품 의사결정과 연결하고, 실제 운영 환경을 모의하며, 오류를 분석해야 한다고 강조합니다. 또한 오프라인 평가는 모든 프로덕션 상황에서의 동작을 보장하는 것이 아니라 구조화된 증거로 간주해야 한다고 봅니다.