用智能体复现论文结论

复现为什么突然做得起了

过去审稿人几乎没有时间下载数据、重跑实验，这一层验证一直是空的。编码智能体把重跑的成本降到可以批量做：Hugging Face 组织 1,221 名社区成员，每人 20 美元算力，重跑了 ICML 2026 的 2,226 篇论文，判定了 35,908 条论断。

一次复现怎么做

1. 从一条论断开始。 先抽出论文里具体、可核对的科学论断，让智能体从这一条出发，而不是从一份 40 页的 PDF 出发。
2. 把过程留成记录。 每次运行都产出结论、跑过的代码、生成的工件，最好还有完整的智能体执行轨迹。审计过程本身也要能被审计。
3. 判定时不信自我评价。 把每份记录的自我评价当作不可信，每条论断归入「已验证 / 已证伪 / 玩具规模 / 无法判定」之一。「玩具规模」要单独列出：只在小规模上跑通，说明不了论文的主结论。
4. 同一条论断让不同的人做。 ICML 那一次，有 242 篇论文出现了不同团队对同一条论断给出相反结论的情况；只跑一次的「已验证」分辨不出这一点。

失败先分原因

复现不了不等于造假。一次对 ICML 2026 口头报告论文的审计里，多数失败是工程原因：缺关键文件、依赖版本断裂；有 4 篇依赖的模型已经下线，永远无法复现。但也有实质性的不一致：一篇论文宣称只训练基础模型 0.77% 的参数，开源的检查点实际训练了 6.31%。写报告时把这两类分开。

也要给人留介入的位置。OpenAI 公布的内部数据里，原本 4 到 8 小时的研究任务，一半以上的成功案例人至少插过一次手。

让结果能被别人接着用

• 分数和复现它所需的配置放在同一个结构里。英国 AI 安全研究所改用 EvalEval 的共享格式公开评测结果，原因是同一个模型的分数会随评测协议和推理算力变化。
• 论文之外附一份机器能直接操作的材料。ARA 主张把研究写成分层的知识包，保留探索过程和复现所需的工程细节，而不只是一条剪干净的成功路径。
• 智能体会安装依赖、执行论文仓库里的脚本，让它跑在隔离环境里。

与相邻能力的分工

只读一份声明、不打算重跑时，用「核查 AI 科研成果的证据」。