可复现性与可验证结果

什么叫可复现

可复现是指别人拿到同样的数据、代码、配置和步骤，能得到相同（或在误差范围内一致）的结果。它有程度之分：只有一篇论文描述，几乎无法复现；附带代码和数据，能复现一大半；连运行环境、随机种子、模型版本都固定下来，才可能逐个数字对上。

为什么在 AI 领域格外难

• 模型会变：通过 API 调用的模型可能在不通知的情况下更新，同一段提示一个月后得到不同的结果。
• 随机性：采样温度、并行顺序都会让输出不同；只报告一次运行，看不出波动有多大。
• 评测设置没写全：提示词、评测外壳、筛选过的题目子集，任何一项不公开，分数就无法重做。

可验证：比可复现更强的一档

有些结果不需要重做整个过程，只要检查答案本身：

• 数学证明写成 Lean 这类证明助手能检查的形式后，由程序逐步验证，不依赖任何人的判断；
• 构造出来的对象（一个矩阵、一段程序）可以直接代入检验；
• 预测可以等实验或后续数据来检验。

AI 产出的科研结果越来越多，「附带机器可检查的证明或可直接验证的产物」正在成为可信度的分界线。

读信号时看什么

1. 结论附带了什么：代码、数据、模型快照、完整日志，还是只有一段描述？
2. 有没有独立的第三方复现过，复现到了哪一步？
3. 宣称「AI 独立完成」的研究，验证环节由谁做、花了多长时间。