先说结论

今天 X 上有一条热议:有人说「软件已经被解决了」,一些团队开始自动批准 AI 写的 PR,代码审查越来越少。

我不反对 AI 写代码,我现在大量代码都交给 Codex 写。但我昨天(11 月 3 日)一天做了 6 次 AI 代码审查,结果是:每一次,测试都是绿的;每一次,审查都找出了必须修的问题。

所以我的结论很直接:测试全绿只能证明你写过的用例没坏,证明不了你没写到的情况。 自动批准 PR 之前,至少要让另一个模型做一次对抗式审查。

我是怎么审的

流程很简单:

  1. 主力 Agent(Codex)按 Issue 写代码、跑测试、提交。
  2. 再开一个审查会话,用 gpt-6-astra 高推理档位,对比基线分支或某个提交做 review。
  3. 审查要求输出带优先级的问题清单(P1/P2)、代码位置、置信度,以及一个总判断:patch 对不对。
  4. 我只看结论,挑出要修的,交回主力 Agent 修,修完再审一轮。

关键在第 2 步:审查者不只读 diff,它会自己构造输入去复现,拿新代码和父提交跑同一个例子对比。

6 次审查,测试数和结果

审查对象当时通过的测试审查结论
HTML 解析器,第 1 轮70 个定向测试4 个问题(1 个 P1)
解析器,第 2 轮15 个定向测试2 个回归
解析器,第 3 轮全仓 504 个测试2 个回归
解析器,第 4 轮19 个解析器测试2 个回归
后台筛选表单3 个新增页面测试1 个问题
内容分类回填任务31 个单元测试3 类问题

注意第 3 轮:504 个测试全过,审查还是判定 patch 不对。

测试没抓到的,都是哪类问题

我把这些问题去掉业务细节,归成几类。你做任何「从网页/文本里抽字段」的活,大概率都会踩。

1. 一个值被行内标签拆开

比如 口令:<b>a</b>bcd。按文本节点扫,只拿到半截;按「删掉某个标签」的方式清理,又把剩下的半截留在了公开内容里。

教训:抽取和清理要用同一套边界,要么都按块级文本,要么都做 DOM 感知,不能一边按块、一边按节点。

2. 嵌套块被拼成一个「新值」

一个表格单元格或引用块里放了两段,每段一个链接。把容器当叶子节点取文本,两段没有分隔符,直接拼出一个不存在的链接,还排在结果第一个。

教训:叶子节点要看「有没有子块」,不能按标签名判断;拼接时必须保留块之间的分隔。

3. 开头多一个空格,值就被截断

<p> 标签:值</p>,或者 <p> 后面紧跟换行。规范化在 trim 之前执行,标签匹配失败,退回兜底逻辑,只抽到前半段,后半段留在公开正文里。

教训:空格、换行、中英文混排是解析器回归的高发区,每一种都要有单独的回归用例。

4. 清理顺序错了,数据先被删了

先删掉「下载块」,再从原文抽口令,结果口令已经没了。还有一个是把 URL 的 # 片段当垃圾清掉,而有的服务把密钥就放在片段里。

教训:先抽取,再清理;规范化交给统一的契约层,别在每个解析器里各自「顺手洗一下」。

5. 前端:重置了 URL,没重置输入框

Next.js 里点「重置」,URL 和结果都变了,但非受控输入框还显示旧值。再点一次提交,被清掉的筛选条件又回来了。3 个页面测试都过了,因为它们没覆盖客户端导航后的表单状态。

修法:用归一化后的查询参数给表单设 key,或者显式同步字段值。

6. 后台任务:旧审批套到了新内容上

管理员批准了一个预览,之后又改了原始内容,审批还挂在旧指纹上,回放时被当成有效决定。另外,中断后重跑回填命令,只处理新入队的任务,旧任务永远卡在队列里。

教训:审批要绑内容指纹,内容变了审批就作废;可恢复的任务要能接着处理已存在的队列。

这套方法花了多少

  • 时间:每轮审查是一个独立会话,我只负责转述结论,不读代码。
  • 成本:我没有单独统计每轮审查的 token,这里不报数字。
  • 收益:这些问题里有好几个会把本该私有的字段留在公开页面上。上线后再发现,代价就不只是返工了。

我的规则

  1. 测试是下限,不是证明。 写在提交说明里的「测试通过」,只说明没退步到已知用例之下。
  2. 审查者必须换一个会话,最好换一个模型。 同一个上下文自己审自己,很容易顺着原来的思路走。
  3. 要求审查者给复现输入。 只有「我觉得这里有风险」的意见,优先级一律往后排。
  4. 每个审查发现都要变成一条回归用例,再修代码。不然下一轮还会回来。
  5. 涉及隐私边界、数据迁移、权限的改动,不自动批准。 其他的可以考虑放宽。

回到那条热议

「软件被解决了」这种说法,我理解为:写代码这一步的成本接近零了。这没错。

但写代码从来不是最贵的那一步。最贵的是知道哪里会坏。现在这件事也能交给 AI,只是要交给第二个 AI,而不是让写代码的那个自己说「我测过了」。


相关阅读:《我统计了 2,281 个 Codex 会话,发现失败大多发生在写代码之前》 讲环境问题;《把没做完的任务交给另一个 Agent,什么才算完整交接》 讲审查之后怎么交回去修。

来源与口径:6 次审查的测试数和问题分类来自我 2026-11-03 的 Codex 审查记录,业务代码、仓库和字段名已全部泛化;「自动批准 AI PR」的说法来自 X 热点汇总,是对 X 帖子的摘要,不代表我核实过具体团队的做法。