技术信号 · AI Tech Radar

工具 · 第 2026-10-01 号值得跟踪

Olmo-core 3：开源 MoE 训练框架，吞吐提升到原来的 2.7 倍

Allen AI 10 月 1 日发布 Olmo-core 3，开源的大规模 MoE 训练框架。它从全分片数据并行（FSDP）改为数据并行加专家并行、流水线并行与分布式优化器，在 8 块 B300 上把吞吐从每卡每秒 1.94 万 token 提到 5.2 万 token，约 2.7 倍；MXFP8 比 BF16 再快 21%。在 512 块 GPU 上把模型扩到 1.2 万亿总参数（每 token 激活 584 亿），实验最高到 2.38 万亿。Allen AI 自己说明，万亿参数那次测试证明的是能扩到多大，不是持续训练的性能。

为什么重要能训练万亿参数 MoE 的训练代码，大多数实验室都不公开。Olmo-core 3 把并行方案、低精度训练和实测数字一起开源，别人可以照着复现。它自己也说清楚了局限：万亿参数那次只证明能扩到多大，不是持续训练的性能。

适合训练或继续预训练 MoE 模型的研究团队、负责大规模训练集群效率的基础设施工程师

工具 · 第 2026-09-01 号值得跟踪

BenchMIRT：一个基准的分数，常常在测别的东西

Ai2 开源 BenchMIRT，把心理测量学的多维项目反应理论用到单题层面审计基准，在 100 个模型、16 个基准、超过 34,000 道题上训练。事先不告诉它哪个基准测什么，它独立恢复出两个主导维度——安全与通用推理，重复分析结果稳定。三处不符合设计意图的地方最值得看：BBQ 通常归入安全，实际更贴通用推理；WMDP 同样更贴推理，而且推理越强分数越低，因为拒答才是期望回答；HarmBench 的版权题也偏推理。作者主动写下了代价：同一套估计既能挑出最有信息量的安全题，也能被用来把它们删掉。

为什么重要这个站已经反复记录过「这把尺子有没有量过别人」这一问。BenchMIRT 往前推了一层：就算尺子干净、没人提前看题，一个基准分数仍然可能主要由另一种能力驱动。它把这件事从直觉变成可测量的量——并且用一次不预设答案的分析，独立地把两个维度找了出来。

适合要为自己的系统挑选或裁剪评测集的评估负责人、在读厂商公布的安全类分数并判断其含义的技术决策者

工具 · 第 2026-08-07 号值得跟踪

TutorMoments：只说「做好一点」时，模型会普遍过度帮忙

Ai2 用真实一对一数学辅导记录做了一套回放式评测，量模型在「该出手还是该忍住」上的判断。结论有两层：只说「好好辅导」时模型普遍过度帮忙，很少推学生自己想；把这个取舍明写进提示词能改善，但补不上与人类的差距。数据集、回放流水线代码与技术报告一并开源。

为什么重要它把「该不该出手」做成了可测量的对象，而这正是智能体产品里最常见、也最难被现有评测捕捉的一类失败——模型倾向于产出而不是克制，而绝大多数评测只奖励产出。回放式评测这个方法本身可以直接搬到任何需要判断「此刻该不该行动」的任务上。

适合在设计智能体评测的团队：回放式评测是一个可直接复用的方法样本、做需要克制的产品的团队——该问的时候别替用户决定、该停下的时候别继续

工作流 · 第 2026-07-15 号值得跟踪

Shippy 复盘：Ai2 高风险场景智能体的四条工程经验与三件开源工件

Ai2 Skylight 团队复盘海事态势感知智能体 Shippy 的工程实践：智能体三分解剖（soul/skills/config）、确定性 CLI 工具层、按会话隔离的沙箱部署、专家加权评分的活数据评估，并开源了 OpenClaw（智能体框架）、Harbor（评估框架）与 Mothership（托管平台）三件工件。

为什么重要生产级智能体的公开工程复盘本就稀少，高风险场景（错误决策有真实代价）的更是罕见。四条经验——三分解剖、确定性工具层、会话级沙箱、专家评分的活数据评估——每一条都指向同一个主题：智能体可靠性来自工程结构，不是模型能力。

适合把智能体推向生产环境的工程团队、智能体平台与基础设施建设者