一种在已知问题之外,加入对评估者验证为有效的新问题进行评估的指标。
GitHub 推出了开放的 ReviewBench 基准,用于评估代码审查代理。该基准基于来自 187 个仓库、涵盖 19 种编程语言的 219 个拉取请求,并采用能够区分已知问题和新问题的指标。该公司表示,其离线结果反映了 Copilot Code Review 生产环境测试的趋势,但真实用户测试仍是最终判断标准。