How UK AISI and EvalEval Are Making Benchmark Results Reproducible

发生了什么

英国 AI 安全研究所（AISI）开始用 EvalEval Coalition 的基础设施公开评测结果。它有两部分：一套共享的报告格式 Every Eval Ever，和一个开放平台 Evaluation Cards，把评测结果与解读它所需的信息放进同一个结构。

首批发布对应 AISI 的论文「推理算力如何影响前沿模型评测」：主实验的五个基准，覆盖六个前沿模型——Claude Opus 4、4.5、4.6 与 GPT-5、5.2、5.4——包括经过核验的结果、上下文和配置信息；另有两项网络安全评测，模型集合部分重叠。

为什么要连同条件一起发

帖子的核心论点很朴素：评测结果以各种格式散落在各种平台，常常缺少复现所需的信息；而重新跑一次，可能贵到跑不起。

AISI 那篇论文本身就是例子。在「人类最后的考试」上，如果每次尝试之后都给模型一个正确与否的反馈，它们会随着 token 用量的增加持续解出更多题。同一个模型的分数，取决于评测协议和给了多少推理算力。帖子里另一张图把 AISI 自己测的 Terminal-Bench 2.0 结果，和同一批模型在其他设置下报告的结果并排放在一起。

和本站的关系

这是「尺子」这条线的又一层。BenchMIRT 问的是一道题实际在测什么；双盲评测解决的是谁看得见题；GPT-6 Astra 那条记下了同一篇报道里两组对不上的分数。这一条补的是：两个看起来相近的分数，可能是在明显不同的条件下得到的——只有把条件一起发布，才分得出来。

它和同一周的价格战也连得上：新模型公布的成本与分数都是在某个推理档位下量的，而档位不同，分数和账单都会一起变。

局限

这是方法与基础设施的发布，不是新发现。覆盖的是较早的一批模型，不是本周价格战里的那几个。这恰好说明它的用处：新模型的分数下周就会出来，而能拿来对照的，只有当初连同条件一起发布的那些。