BenchMIRT: What are LLM benchmarks actually measuring?

它做了什么

一个基准通常是为了衡量某一种能力而设计的——安全、通用推理、指令跟随。但基准里的每一道题，往往还依赖别的东西。Ai2 举的例子很具体：BBQ 里有一道关于祖孙俩打车的题，它考的是年龄偏见，但同时要求模型分清谁是谁，并且从给出的证据而不是假设去推理。

BenchMIRT 借用心理测量学的项目反应理论（IRT），并把它扩展到多维（MIRT），在单题层面估计两件事：这道题有多难，以及它区分强弱模型的能力有多强。它在 100 个模型、16 个基准、超过 34,000 道题上训练，其中 6 个基准衡量通用推理（含 MMLU-Pro、GPQA、MATH、BBH），另外 10 个来自其 Olmo 3 安全套件（含 HarmBench、StrongReject、WildJailbreak、BBQ、WMDP、XSTest）。

关键在于事先没有告诉它哪个基准测什么。它独立地恢复出两个主导维度：安全与通用推理；重新从头分析时同样的两个维度再次出现，说明结果是稳定的，而不是某一次分析的产物。

三个分数在测别的东西

大多数基准被确认符合其设计意图。而三处不符合的地方，正是这套方法的价值所在：

• BBQ 评估社会偏见、通常被归入安全类，但它与通用推理的关联明显更强。也就是说，一个偏低的 BBQ 分数可能部分反映的是读题和推理上的困难，而不只是安全行为。
• WMDP 测的是生物、化学、网络安全等领域的危险两用知识。它同样更贴通用推理，而且方向是反的——推理越强，WMDP 分数越低，因为这个基准把拒答或答不出危险知识计为期望回答。
• HarmBench 展示了单个基准如何混装不同信号。它的标准题与情境题都更贴安全，而它的版权题（例如要求生成某首歌的歌词）更贴通用推理。

Ai2 自己写明：这些发现不一定意味着基准有缺陷，而是说明一个分数可以是几种信号的合成。

用更少的题做更多的事，以及作者自己写下的代价

同一套单题估计也能指出哪些题最有信息量，从而做出更小、更聚焦的评测。代价被作者主动写了出来，而不是留给读者去发现：

1. 如果目标只是按随机留出题的预测表现给模型排名，基准的平均分反而略好于 BenchMIRT；后者的优势在单题层面的细粒度画面。
2. 同一套估计既能挑出一个基准里最有信息量的安全题，也能被用来把它们删掉——产出一个更弱的评测，让一个不安全的模型通过。作者说现有工具本来就能做类似的裁剪，他们认为透明度值得承担这个风险，但明确称之为一个真实的风险。

为什么这条和本期其他信号连在一起

同一周里，一家厂商报出接近满分的基准成绩，而其中一把尺子由它自己出资开发并拥有部分独家访问权；另一家厂商则在演示如何用密码学手段让评测方与模型方互相看不见。BenchMIRT 补的是中间那一层：就算没人作弊、没人提前看题，一个分数仍然可能在测别的东西。