核查 AI 科研成果的证据

先分清它是哪一种结果

「AI 解决了一个难题」背后可能是完全不同的东西：一个能直接代入检验的对象、一份机器能检查的证明、一篇没人核过的长文，或者一个由模型自己打出来的分数。它们的可信程度差得很远。下面四个问题按顺序问。

四个问题

1. 能不能被机器检验？ 668 阶哈达玛矩阵是一个 ±1 方阵，任意两行内积为 0 可以直接算，第三方也复现了解码过程，所以不用相信任何人的说法。OpenAI 公开的 719 篇数学稿件里只有 300 篇（约 42%）有 Lean 证明，第二天就因一个符号错误撤回了 3 篇——没有形式化证明的部分，应当按待核验对待。
2. 谁打的分？ Nemotron 在 IMO 拿的 30 分由 IMO 官方评分员评定；IOI 的 535.4 分是 NVIDIA 按比赛限制自己跑的，不在官方排名里。同一份发布里的两个金牌，分量不同。
3. 人参与了多少、花了多少？ 「三个人加 Claude」不是 AI 独立完成。纳维-斯托克斯一项，按 OpenAI 自己的数字，智能体跑了约 88 小时，Lean 形式化又花了 17 小时，所有问题合计约 3,000 亿个输出 token。OpenAI 也说，原本 4 到 8 小时的任务，一半以上的成功案例人插过手。
4. 裁判是不是它自己？ Anthropic 说 Claude「主导」了约 26% 的研发工作，而给每类任务评定自动化等级的是另一个 Claude；人与人之间对「协作」和「主导」的判断一致率只有 35%，26% 恰好落在这条分歧最大的边界上。

看结果的形状

Gowers 的观察可以当一条经验：近期轰动的模型数学成果几乎都是构造出一个对象，而模型的两项确定优势是知道得多、失败得起。所以「找到了一个满足条件的对象」这类声明通常最容易核，也最站得住；「判断出这条路走不通」「独立完成了一项研究」这类声明要打折看。

合成分数要能拆开。AlphaGenome Atlas 的 AVI 分数把两个模型压成一个数，但每个分数都链接回驱动它的生物学特征；拆不回去的综合分，就只能采信。还要看评估怎么设计：AMIE 的结论来自模拟问诊的随机对照研究，评估者是临床医生，病人由演员扮演，离真实就诊还隔着一层。

与相邻能力的分工

「模型与输出评估」讲怎么评自己的模型和输出；这一条是读别人发布的科研声明。想自己动手把一篇论文重跑一遍，见「用智能体复现论文结论」。