Tool · 2026-09-26

Open Code Review:少报错的代价是漏掉八成问题

阿里巴巴开源了内部用了两年的代码评审工具 Open Code Review:选哪些文件、怎样打包、匹配哪些规则都由确定的程序完成,只有代码分析交给智能体。官方基准里它的精确率和 F1 高于同模型的通用智能体,token 用量约为九分之一,并主动说明召回率更低。外部评论指出最优配置下召回率只有 20%,唯一一次独立测试的精确率约 12%,维护者称是已修复的异常,修复后尚无独立验证。

InfoQ 中文2026-09-26About 4 min readWorth tracking

Marked important, but published more than 30 days ago, so it moved down to this band.

WorkflowCoding agents
On this page11 sections

This signal comes from a Chinese-language source and is written in Chinese.

Record

The signal

#

它针对的问题

用通用智能体做代码评审,有三个常见的毛病:变更集一大就偷工减料,只审一部分文件;报告的问题和实际代码位置对不上,行号漂移;用自然语言写的评审技能难以调试,提示稍有变化,质量就跟着波动。项目给出的归因是:纯靠语言驱动的架构,对评审过程没有硬约束。

做法:不能出错的步骤不交给模型

由确定的程序完成的:

  • 选文件:哪些要审、哪些过滤掉
  • 打包:把相关文件归成一个评审单元,每个单元由一个上下文隔离的子智能体处理
  • 规则匹配:按文件特征用模板引擎匹配评审规则
  • 定位与反思:独立的模块负责把评论对到正确的行,并过滤评论内容

交给智能体的:动态决策和按需取上下文。工具集是从大规模生产数据的调用轨迹里筛出来的——调用频率、单个工具的重复率、新增工具对整条调用链的影响。

官方给出的数字

基准 AACR-Bench 取自 50 个开源仓库的 200 个真实合并请求,覆盖 10 种语言,由 80 多位资深工程师交叉标注出 1,505 个问题。在相同底层模型下,它的精确率和 F1 高于通用智能体,token 用量约为九分之一。

README 在同一段里写明:召回率低于通用智能体,这是有意的取舍,宁可少报也不要噪声。

外部的质疑

InfoQ 引用了两位评论者。

一位指出,到目前为止唯一一次独立基准测试的结果很难看:在 10 个合并请求上精确率约 12%。维护者对此提出异议,称是工具调用异常所致并已修复,但修复之后还没有独立的验证。

另一位算了召回率的上限:最优配置下是 20%,也就是专家标出的问题有 80% 它找不到。用来保证精确率的确定性分发,同时限制了它发现跨文件和架构层面问题的能力。

两位的评价并不是否定。前一位认为它公开基准并主动披露召回率劣势,比同类工具的做法更可信;后一位的结论是,它的贡献不在于用了更好的模型,而在于一个更好的外壳。

怎么读这条

先想清楚你要评审工具做什么。如果目的是减少人要看的噪声,让每条评论都值得读,高精确率是对的方向。如果目的是尽量不漏掉缺陷,20% 的召回率意味着它不能单独承担这件事。

它用 Apache 2.0 协议开源,兼容 OpenAI 与 Anthropic 的模型接口,可以评审差异、分支或整个文件,也可以作为插件接进几种编码智能体。

本条由 InfoQ 的报道带入,项目自述以其 GitHub 仓库的 README 为准。

Why now

Why it matters

#

智能体工具的效果越来越取决于外壳而不是模型。这个项目把「哪些步骤不该让模型决定」做成了架构,并且连同不利的数字一起公开——这让它成为一个可以对照的样本,而不只是又一个评审工具。

Background

Technical context

#

精确率是报出的问题里有多少是真的,召回率是真实问题里有多少被报了出来,F1 是两者的调和平均。两者通常此消彼长:少报可以提高精确率,但会漏掉更多问题。只看 F1 会掩盖这个取舍的方向。

At your level

Have AI explain this signal at your level

Pick your level of experience and AI writes an explanation for it on the spot.

Audience

Who should care

#
在选型或自建代码评审工具的工程效能团队设计智能体外壳、需要决定哪些步骤固定下来的工程师要向团队解释评审工具能做什么、不能做什么的技术负责人
Areas it may affect
代码评审智能体外壳设计工程效能

Next

Learning path

#
  1. 先读《评估闭环》:为什么要同时看精确率和召回率
  2. 读本站 Copilot 代码审查复盘:更好的工具为什么让智能体更差
  3. 读 Rootly 废掉小 PR 规则那一条:评审的对象在变
  4. 拿你们最近十个合并请求试一次,数一数它漏掉了什么

Getting started

Have AI draft a learning path

From the related knowledge and skills on this page, AI drafts a path from the basics to applying it.

Network

Where it sits in the network

#

How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.

Comparison

Compare with another technology

Pick another published technology and AI writes a comparison of what they share, how they differ and when to use each.

Further thought

Follow-up questions

#
  • 你希望评审工具少报错,还是少漏报?
  • 你们现在的评审流程里,哪些步骤其实不需要模型来判断?
  • 一个召回率 20% 的工具,应当放在流程的哪个位置?

Publication record

Featured in

#

The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.

  1. 技术简报 - 2026-09-28

    Immediate attention

Sources

InfoQ 中文

阿里巴巴Big tech2026-09-26
Open original sourcehttps://www.infoq.cn/article/jJIXCaLHUvPgswTOZ1uQ?utm_source=rss&utm_medium=article