主题聚合
基准与评测
基准本身的设计与可信度、第三方评测和评测口径。
跟进此话题
站内关注 · 站外订阅话题图谱
16 个节点 · 76 条连接- 本话题的内容
- 话题外的邻居
- 渊源 · 续作 · 延伸
- 必备 · 借助
- 释义 · 印证
- 关联
已发布技术信号
16 条MiniMax M3.1 Flash：成本降七成，Agent 国模第一
MiniMax 于 10 月 19 日发布 M3.1 Flash，输入每百万 token 0.15 美元、输出 0.60 美元、缓存输入 0.015 美元，官方称 Agent 任务使用成本较上一代降低 70%。模型在 OSWorld V2 得 61.7、Agents' Last Exam 得 29.6，文章称后者位列中国模型第一。此前匿名模型 Space Bunny 被确认是该模型的早期版本。
Google 开源 Harness²：不改模型，递归改智能体的外壳
Google Research 开源智能体框架 Harness²，采用 Apache 2.0 许可，支持 OpenCode 与 Codex，默认使用 OpenCode。它把系统提示词、护栏、记忆、工具指导、子智能体、Skills、脚本和插件拆成 8 类可改组件，通过任务级与 Harnessing 级两层递归在不改模型权重的前提下优化表现。团队称仅一步优化后 WorkBuddy-Bench 最高涨 11.5 分。
华为 Memento 3：把规则写成代码，打满 ARC-AGI-3
华为诺亚方舟实验室联合 UCL 等团队的智能体 Memento 3 打通了 ARC-AGI-3 公开集全部 25 款游戏、183 个关卡，RHAE 满分 100，总操作 7518 次，比人类的 17135 次少约 56%。底模 Claude Opus 5 不更新权重、不做游戏微调，靠「代码即模型」（一份规则手册加一个可执行的世界模型）递归地自我改进。
智能体用三周重构老游戏代码，全程靠逐帧回放验收
CodeScene 发布案例研究：一个编码智能体在三周内重构了《街头霸王 III：三度冲击》开源反编译项目约 30 万行 C 代码，消耗 token 约 4000 美元，覆盖 726 个文件、2903 次提交、252055 行改动，Code Health 从 5.6 升至 10.0。保障机制包括 CodeHealth MCP Server 的确定性评分，以及逐帧比对回滚状态哈希的回放轨迹测试框架；智能体还自行整理出含 22 个方案、82 条辅助说明的重构手册。
何恺明团队 VISTA：让模型回看原始画面，打满 ARC-AGI-3
MIT 何恺明团队的 VISTA 是一套视觉原生的智能体外壳：环境返回的每一帧都原样存档，模型推理时可以按需调回、放大、并排对比，基础模型不用重新训练。配上 Claude Opus 5.0，ARC-AGI-3 的 25 个公开游戏全部通关，相对人类动作效率得满分 100，比人类首次游玩的基线少用 57.4% 的动作。
DeepSeek-V4 的周期性盲点：信息换个位置，检索准确率差 40 个百分点
字节跳动 Seed 发现，采用分块 KV 缓存压缩的模型，检索准确率会随信息相对压缩窗口边界的位置周期性起伏。128K 上下文里，DeepSeek-V4-Flash-Base 在不同位置之间最多差 40.2 个百分点，后训练过的 V4.1-Flash 仍差 6.1 个百分点。起伏的周期正好等于压缩步长：V4 是 4 个 token，V4.1 是 2 个。平均分会把这种弱点藏起来。
Agent Lightning：线上 harness 直接参与强化学习
微软亚洲研究院开源 Agent Lightning v1.0，提出 Harnessed Agentic RL 训练范式：不改动部署时的智能体 harness，只把模型端点指向框架的代理，即可让真实 harness 参与强化学习。框架约 3500 行代码，原生支持 Kubernetes，在 SWE-bench Verified 上把 Qwen3.5-9B 从 41.8% 提升到 56.4%，仅用约 6000 条训练样本。
Nemotron 竞赛模型：IMO 金牌官方评定，IOI 金牌自测
NVIDIA 用同一模型家族的微调版参加 2026 年 IMO 与 IOI。IMO 拿到 30 分（金牌线 29），由 IMO 官方评分员打分，纯自然语言、不用证明器与工具。IOI 自测 535.4 分（金牌线 361.12），按比赛限制自己跑，不进官方排名。550B 总参数、55B 激活的模型权重与训练数据已开放，训练算力未披露。
智能体做错的任务，三分之二没有报错
Microsoft 发布 ThinkingBox-Bench：507 个有状态的业务流程，按后端最终状态评分，而不是看智能体怎么说。12 个模型的 121,680 次运行里有 79,853 次没通过，其中 67.24% 正常结束、调用过改写状态的工具、也没有报错。Kimi-K3 有 93.89% 的任务至少做对一次，但 20 次全对的只有 13.41%。代码与数据均已开源。
英国 AISI 公开评测明细：分数要连同条件一起发
英国 AI 安全研究所开始用 EvalEval Coalition 的共享格式和开放平台公开评测结果，把分数与复现所需的配置放进同一个结构。首批是它一篇论文的主实验：五个基准、六个前沿模型，外加两项网络安全评测。那篇论文本身就是理由——同一个模型在「人类最后的考试」上的得分，随评测协议和推理算力持续变化。两个看起来相近的分数，可能是在明显不同的条件下得到的。
平均成功率 77%，五次全对只有 53%：智能体的一致性差距
IBM Research 指出，几乎所有基准只报平均成功率：AppWorld 上一个 GPT-4.1 的 ReAct 智能体五次运行平均成功 77.4%，但五次全对的任务只有 53.0%，差 24.4 个点，难任务上达 30 个点。原因在于决策分布的形状——平坦分布里的近似平局会被 GPU 浮点、批处理等平台侧扰动翻转，几十个决策串起来就累积成很大的走偏概率，所以温度设成 0 也没用。他们用一条轨迹、无需标准答案就能找出易翻转决策点，并据此生成指引，把差距从 24.4 降到 12.0 个点，平均准确率不降。
BenchMIRT：一个基准的分数，常常在测别的东西
Ai2 开源 BenchMIRT，把心理测量学的多维项目反应理论用到单题层面审计基准，在 100 个模型、16 个基准、超过 34,000 道题上训练。事先不告诉它哪个基准测什么，它独立恢复出两个主导维度——安全与通用推理，重复分析结果稳定。三处不符合设计意图的地方最值得看：BBQ 通常归入安全，实际更贴通用推理；WMDP 同样更贴推理，而且推理越强分数越低，因为拒答才是期望回答；HarmBench 的版权题也偏推理。作者主动写下了代价：同一套估计既能挑出最有信息量的安全题，也能被用来把它们删掉。
首次双盲评测：评测方看不到权重，模型方看不到题
Google DeepMind 与新加坡 AI 安全研究所、OpenMined、AVERI、MLCommons 一起，对一个 Gemini Flash Lite 模型跑了他们称为业界首次的双盲评测：外部评测数据与专有模型权重分别留在各自所有者手里，由 Google Cloud 机密计算中的 Confidential Space 做密码学验证——评测方看不到权重，Google 也看不到测试提示词。它拿掉的是一个长期只能二选一的取舍：要么评测方交出题目、模型方可能提前看到，要么模型方交出权重、承担知识产权风险。零日志协议和合同约束一直都在，这次是把保证从流程换成技术。
Qwen3.8-27B 的第三方实测：模型很好，出厂默认值不好
本站昨天发这条模型时点名它所有对比都由厂商自跑，缺第三方的尺子。这就是那把尺子：同一道题，出厂默认档跑 21 分钟、烧掉 22,276 个思考 token 产出 3,223 token；关掉思考 137 秒完成。视觉定位很强，而真正的门槛是 15–30 token/秒的吞吐。
TutorMoments：只说「做好一点」时，模型会普遍过度帮忙
Ai2 用真实一对一数学辅导记录做了一套回放式评测，量模型在「该出手还是该忍住」上的判断。结论有两层：只说「好好辅导」时模型普遍过度帮忙，很少推学生自己想；把这个取舍明写进提示词能改善，但补不上与人类的差距。数据集、回放流水线代码与技术报告一并开源。
Real World VoiceEQ：衡量语音 AI「人性质量」的评测基准
Hume AI 发布 Real World VoiceEQ：一套衡量语音交互「人性质量」的评测基准，覆盖 40+ 语音模型、15+ 评测维度、60+ 指标，横跨 ASR/TTS/语音对话/语音理解四大类，底层是 100 万+ 条跨人群、跨声学环境的人工评分。