ReviewBench 是什么？

GitHub 发布的一个开放的 AI 代码审查离线基准。它用同一套评分标准，把审查系统放到一批真实 PR 的已知问题上打分，现在已经开放使用，也支持提交 GitHub 之外的系统。

基准规模有多大？

语料是 19 种语言、219 个公开 PR，其语言、仓库规模和改动规模分布参照 GitHub 上 1.039 亿个真实 PR 的分布来构建。

四项：grounded precision、grounded recall、augmented precision、augmented recall。带 augmented 的两项用来给「审出了金标准里没有、但确实有效」的问题记分；每个问题还按严重程度和类别打标。

GitHub 公开了一整套流程：统一发布的评分标准、由资深工程师构建的人工标注开发集、经过人类判断校准的评分器、所有来源使用同一套标注，以及公开的一致性数据 96.6%。

GitHub 发布 ReviewBench：一个开放的 AI 代码审查离线基准，按 1.039 亿个真实 PR 的分布构建，含 19 种语言、219 个 PR 的语料、多来源金标准与四项精确率/召回率指标。本文说明它怎么建、凭什么可信，以及怎么提交你自己的审查系统。

GitHub 发布了 ReviewBench，一个开放的 AI 代码审查基准，现在就能用。它把审查系统放到一批真实 PR 的已知问题上，用同一套标准打分；GitHub 表示自己内部也用它来判断 Copilot 代码审查的改动是否真的有用。发布文章详细讲了构建方式，以及怎么提交自己的结果。

项目	内容
回答的问题	ReviewBench：GitHub 开源了 AI 代码审查基准
简答	GitHub 发布 ReviewBench：一个开放的 AI 代码审查离线基准，按 1.039 亿个真实 PR 的分布构建，含 19 种语言、219 个 PR 的语料、多来源金标准与四项精确率/召回率指标。本文说明它怎么建、凭什么可信，以及怎么提交你自己的审查系统。
阅读时长	~3 分钟
最后更新	2026-10-06

分布按真实规模来。 语言、仓库规模和改动规模的分布，参照 GitHub 上 1.039 亿个真实 PR 构建，再收窄成一个有代表性的语料：19 种语言、219 个公开 PR。
多来源金标准。 已知问题来自人工审查者、前沿大模型和静态分析三类来源。每个问题都按严重程度（critical 到 low）和类别（正确性、安全性、可靠性、可维护性、测试）打标，这样才能按切片看结果。
四项指标。 grounded precision、grounded recall、augmented precision、augmented recall。带 augmented 的两项，是为了给「审查系统发现了、但金标准里没记录」的有效问题记分。

代码审查基准的成败几乎全在标注质量上，而 ReviewBench 的信任链条写得很明确：一套对所有问题统一的公开评分标准、由资深工程师构建的人工标注开发集、按人类判断校准的评分器、所有来源统一标注，以及公开的一致性数据。发布前，资深工程师独立标注了金标准里的真阳性，公布的一致性为 96.6%。

它也不是一个孤立的榜单：GitHub 会把基准的变动和线上实验结果对照，看它能否预测线上方向 —— 真正的改进倾向于在线上体现，回退也会体现。

文章面向两类人。如果你在评估现成的审查工具，这个基准能让你在同一批 PR、同一套标准下比较不同智能体，并按严重程度或类别切片，对齐你们团队真实的审查习惯。如果你在开发审查系统，可以把自己的系统接进来并提交结果。

对在桌面跑编码智能体的人来说，这是少见的、开放且可复现的标尺 —— 过去这类任务基本靠感觉评价。它也把预期说得很诚实：grounded recall 高的审查系统仍可能漏掉金标准里根本没出现过的问题，而带 augmented 的指标正是用来暴露这一点的。

MOOGH 是 Windows 上的桌面智能体工作区，可以让编码智能体直接在你的本地仓库上干活，每一步执行前都先给你确认。想拿自己的代码试，可以下载客户端。

ReviewBench 只评测 GitHub 自己的审查器吗？ 不是。它作为开放基准发布，文章里也讲了如何接入并提交自己的代码审查系统。
grounded 和 augmented 有什么区别？ grounded 只对照金标准里的已知问题评分；augmented 还会给审查系统发现、而金标准未预料的合理问题记分。
有了基准还需要线上测量吗？ GitHub 的定位是互补：基准的变动会与线上实验对照，用作能预示线上结果的离线信号。
对团队来说最实际的用法是什么？ 用同一批 PR、同一套标准比较不同审查器，并按严重程度和类别切片看结果，而不是只盯一个总分排名。

相关阅读：