英国 AISI 公开评测明细：分数要连同条件一起发
英国 AI 安全研究所开始用 EvalEval Coalition 的共享格式和开放平台公开评测结果，把分数与复现所需的配置放进同一个结构。首批是它一篇论文的主实验：五个基准、六个前沿模型，外加两项网络安全评测。那篇论文本身就是理由——同一个模型在「人类最后的考试」上的得分，随评测协议和推理算力持续变化。两个看起来相近的分数，可能是在明显不同的条件下得到的。
编辑标为信号级，适合持续跟踪。
本页目录11 节
记录
信号正文
#发生了什么
英国 AI 安全研究所（AISI）开始用 EvalEval Coalition 的基础设施公开评测结果。它有两部分：一套共享的报告格式 Every Eval Ever，和一个开放平台 Evaluation Cards，把评测结果与解读它所需的信息放进同一个结构。
首批发布对应 AISI 的论文「推理算力如何影响前沿模型评测」：主实验的五个基准，覆盖六个前沿模型——Claude Opus 4、4.5、4.6 与 GPT-5、5.2、5.4——包括经过核验的结果、上下文和配置信息；另有两项网络安全评测，模型集合部分重叠。
为什么要连同条件一起发
帖子的核心论点很朴素：评测结果以各种格式散落在各种平台，常常缺少复现所需的信息；而重新跑一次，可能贵到跑不起。
AISI 那篇论文本身就是例子。在「人类最后的考试」上，如果每次尝试之后都给模型一个正确与否的反馈，它们会随着 token 用量的增加持续解出更多题。同一个模型的分数，取决于评测协议和给了多少推理算力。帖子里另一张图把 AISI 自己测的 Terminal-Bench 2.0 结果，和同一批模型在其他设置下报告的结果并排放在一起。
和本站的关系
这是「尺子」这条线的又一层。BenchMIRT 问的是一道题实际在测什么；双盲评测解决的是谁看得见题；GPT-6 Astra 那条记下了同一篇报道里两组对不上的分数。这一条补的是：两个看起来相近的分数，可能是在明显不同的条件下得到的——只有把条件一起发布，才分得出来。
它和同一周的价格战也连得上：新模型公布的成本与分数都是在某个推理档位下量的，而档位不同，分数和账单都会一起变。
局限
这是方法与基础设施的发布，不是新发现。覆盖的是较早的一批模型，不是本周价格战里的那几个。这恰好说明它的用处：新模型的分数下周就会出来，而能拿来对照的，只有当初连同条件一起发布的那些。
为什么是现在
为什么重要
#读厂商分数时最难回答的问题是：它是在什么条件下量的。一个政府研究机构开始把分数连同协议、配置和运行数据按统一格式公开，这让「同一个模型换个设置分数变了多少」第一次可以被外部核对，而不只是被怀疑。
背景
技术背景
#同一个基准的分数会随多种设置变化：采样温度、允许的尝试次数、是否给予中间反馈、推理档位与 token 上限、使用的智能体外壳等。报告里常常只写基准名与一个百分比，这些设置却不写，于是不同来源的分数无法直接相比。统一的报告格式要求把这些设置与分数一起记录。
关注人群
谁该关注
#下一步
学习路径
#- 先读《评估闭环》：第一步「写清什么算好」里，也包括写清在什么条件下量
- 拿一个你关心的厂商分数，列出它没有写明的设置
- 对照本站的 BenchMIRT 与双盲评测：三条各解决尺子的一个问题
- 在你自己的内部评测里，把推理档位与尝试次数和分数记在同一行
关系网络
在技术网络中的位置
#当前技术与相邻技术、技能和背景知识的连接，点击节点可继续探索。
延伸思考
后续问题
#- 你手里那个关键的厂商分数，是在什么协议和推理算力下量的？
- 你的内部评测记录里，配置和分数是否写在同一条记录上？
- 当新旧模型的分数来自不同设置时，你怎么判断差距有多少是真的？
发布记录
收录于
#收录这条信号的技术简报，新的在前；最后一行是它那一周的周回顾。标签是它在那一期所在的栏目。
来源参考