언어 모델 시스템을 프로덕션에 배포하기 전에 평가하고, 이를 제품 의사결정 및 안전성과 운영상의 제약 조건에 연계하는 관행.
GitHub는 비밀 정보 스캔에서 오탐을 줄이기 위해 대규모 언어 모델 기반 시스템을 평가한 경험을 바탕으로, 프로덕션 전에 LLM 시스템을 평가하기 위한 일련의 실천 방안을 도출했습니다. 이 경험은 지표를 제품 의사결정과 연결하고, 실제 운영 환경을 모의하며, 오류를 분석해야 한다고 강조합니다. 또한 오프라인 평가는 모든 프로덕션 상황에서의 동작을 보장하는 것이 아니라 구조화된 증거로 간주해야 한다고 봅니다.