Olmo-core 3：开源 MoE 训练框架，吞吐提升到原来的 2.7 倍
Allen AI 10 月 1 日发布 Olmo-core 3，开源的大规模 MoE 训练框架。它从全分片数据并行（FSDP）改为数据并行加专家并行、流水线并行与分布式优化器，在 8 块 B300 上把吞吐从每卡每秒 1.94 万 token 提到 5.2 万 token，约 2.7 倍；MXFP8 比 BF16 再快 21%。在 512 块 GPU 上把模型扩到 1.2 万亿总参数（每 token 激活 584 亿），实验最高到 2.38 万亿。Allen AI 自己说明，万亿参数那次测试证明的是能扩到多大，不是持续训练的性能。
编辑标为信号级，适合持续跟踪。
本页目录12 节
记录
信号正文
#发生了什么
10 月 1 日 Allen AI 在 Hugging Face 博客上发布 Olmo-core 3，代码在 GitHub（allenai/olmo-core）。下一代 Olmo 模型就是用它训练的，模型本身还没有发布。
改了什么
上一版用的是全分片数据并行（FSDP）：每块 GPU 只存一部分参数，计算时再临时聚齐。这次改为普通的数据并行，加上：
- 专家并行：不同的专家放在不同的 GPU 上，并支持按行切分专家
- 流水线并行和分布式优化器
- 路由放在 GPU 上计算、分组矩阵乘法、MXFP8 低精度训练
数字
- 8 块 B300：每卡每秒 5.2 万 token，上一版 1.94 万，约 2.7 倍
- MXFP8 比 BF16 吞吐再高 21%；峰值显存从 103 GiB 降到 95 GiB
- 观测到的最高算力：每卡 858 TFLOP/s
- 规模：512 块 GPU 上 1.2 万亿总参数、每 token 激活 584 亿；实验最高到 2.38 万亿
它自己说的局限
- 万亿参数那次测试「证明的是能扩到多大，不是持续训练的性能」
- 让通信和计算重叠进行，「并不总能让训练更快」
为什么值得注意
能训练万亿参数 MoE 的开源框架很少，大多数实验室的训练代码不公开。Olmo-core 3 是完全开放的那一类：代码、配置和方法都公开，所以它的数字可以被别人复现，这一点比数字本身更有价值。
对读者意味着什么
- 如果你在训练或微调 MoE 模型，可以对照它的并行方案，看看自己的瓶颈在通信还是计算。
- 2.7 倍是在 8 卡、特定模型上测的；换成你的规模和网络，要重新量。
- 等下一代 Olmo 发布后，可以看它在这套框架上的实际训练效率。
为什么是现在
为什么重要
#能训练万亿参数 MoE 的训练代码，大多数实验室都不公开。Olmo-core 3 把并行方案、低精度训练和实测数字一起开源，别人可以照着复现。它自己也说清楚了局限：万亿参数那次只证明能扩到多大，不是持续训练的性能。
背景
技术背景
#大模型训练要把计算分到很多块 GPU 上。数据并行是每块卡处理不同的数据；全分片数据并行再把参数也切开，省显存但通信更多；专家并行把 MoE 的不同专家放在不同卡上；流水线并行按层切分模型。吞吐通常用每卡每秒处理的 token 数衡量。
关注人群
谁该关注
#下一步
学习路径
#- 读《混合专家模型（MoE）架构》，理解专家并行要解决的问题
- 读《模型量化与数值精度》，看 MXFP8 为什么能比 BF16 快 21%
- 对照你自己的训练任务，看瓶颈在通信还是计算
- 等下一代 Olmo 发布后，看它在这套框架上的实际训练效率
关系网络
在技术网络中的位置
#当前技术与相邻技术、技能和背景知识的连接，点击节点可继续探索。
延伸思考
后续问题
#- 你的训练瓶颈在通信还是计算？换成数据并行加专家并行会不会更好？
- 2.7 倍是 8 卡上测的，在你的规模和网络上还剩多少？
- 你会为了 21% 的吞吐，接受 MXFP8 带来的数值风险吗？
发布记录
收录于
#收录这条信号的技术简报，新的在前；最后一行是它那一周的周回顾。标签是它在那一期所在的栏目。
来源参考