Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
Marked as a signal by the editors; worth tracking.
On this page12 sections
The full write-up and the editors' notes are in Chinese; the summary above is from the original announcement.
Record
The signal
#发生了什么
10 月 1 日 Allen AI 在 Hugging Face 博客上发布 Olmo-core 3，代码在 GitHub（allenai/olmo-core）。下一代 Olmo 模型就是用它训练的，模型本身还没有发布。
改了什么
上一版用的是全分片数据并行（FSDP）：每块 GPU 只存一部分参数，计算时再临时聚齐。这次改为普通的数据并行，加上：
- 专家并行：不同的专家放在不同的 GPU 上，并支持按行切分专家
- 流水线并行和分布式优化器
- 路由放在 GPU 上计算、分组矩阵乘法、MXFP8 低精度训练
数字
- 8 块 B300：每卡每秒 5.2 万 token，上一版 1.94 万，约 2.7 倍
- MXFP8 比 BF16 吞吐再高 21%；峰值显存从 103 GiB 降到 95 GiB
- 观测到的最高算力：每卡 858 TFLOP/s
- 规模：512 块 GPU 上 1.2 万亿总参数、每 token 激活 584 亿；实验最高到 2.38 万亿
它自己说的局限
- 万亿参数那次测试「证明的是能扩到多大，不是持续训练的性能」
- 让通信和计算重叠进行，「并不总能让训练更快」
为什么值得注意
能训练万亿参数 MoE 的开源框架很少，大多数实验室的训练代码不公开。Olmo-core 3 是完全开放的那一类：代码、配置和方法都公开，所以它的数字可以被别人复现，这一点比数字本身更有价值。
对读者意味着什么
- 如果你在训练或微调 MoE 模型，可以对照它的并行方案，看看自己的瓶颈在通信还是计算。
- 2.7 倍是在 8 卡、特定模型上测的；换成你的规模和网络，要重新量。
- 等下一代 Olmo 发布后，可以看它在这套框架上的实际训练效率。
Why now
Why it matters
#能训练万亿参数 MoE 的训练代码，大多数实验室都不公开。Olmo-core 3 把并行方案、低精度训练和实测数字一起开源，别人可以照着复现。它自己也说清楚了局限：万亿参数那次只证明能扩到多大，不是持续训练的性能。
Background
Technical context
#大模型训练要把计算分到很多块 GPU 上。数据并行是每块卡处理不同的数据；全分片数据并行再把参数也切开，省显存但通信更多；专家并行把 MoE 的不同专家放在不同卡上；流水线并行按层切分模型。吞吐通常用每卡每秒处理的 token 数衡量。
Audience
Who should care
#Next
Learning path
#- 读《混合专家模型（MoE）架构》，理解专家并行要解决的问题
- 读《模型量化与数值精度》，看 MXFP8 为什么能比 BF16 快 21%
- 对照你自己的训练任务，看瓶颈在通信还是计算
- 等下一代 Olmo 发布后，看它在这套框架上的实际训练效率
Network
Where it sits in the network
#How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.
Further thought
Follow-up questions
#- 你的训练瓶颈在通信还是计算？换成数据并行加专家并行会不会更好？
- 2.7 倍是 8 卡上测的，在你的规模和网络上还剩多少？
- 你会为了 21% 的吞吐，接受 MXFP8 带来的数值风险吗？
Publication record
Featured in
#The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.
技术简报 - 2026-10-02
Worth trackingWeekly review · Sep 28 – Oct 4
Worth tracking
Sources