One Model Family, Two Gold-Level Results: Fine-Tuning Nemotron for IOI and IMO
One Model Family, Two Gold-Level Results: Fine-Tuning Nemotron for IOI and IMO
Marked as a signal by the editors; worth tracking.
On this page11 sections
The full write-up and the editors' notes are in Chinese; the summary above is from the original announcement.
Record
The signal
#发生了什么
10 月 7 日 NVIDIA 在 Hugging Face 博客介绍了用 Nemotron 模型家族参加 2026 年国际数学奥林匹克（IMO）和国际信息学奥林匹克（IOI）的结果。两项都过了金牌线，但认定方式不同，读的时候要分开。
两个金牌，两种分量
- IMO 2026：42 分里拿到 30 分，金牌线 29 分，6 题中 4 题满分。由 IMO 官方评分员评分。全程自然语言，不用形式化证明器、工具或联网。
- IOI 2026：600 分里自测 535.4 分，金牌线 361.12 分，人类最高分 498.27 分。这是 NVIDIA 按比赛限制自己跑出的分数，不在官方排名里。
IMO 的成绩可以当作外部认定；IOI 的分数更高，但只是厂商自测。
用的是什么模型
- Nemotron-3-Ultra-CC：总参数 550B、激活 55B 的混合专家模型，只做了监督微调，以 NVFP4 精度发布。它的 safetensors 元数据写的是 335B，与公布的参数量对不上，NVIDIA 没有解释。
- Nemotron-3-Nano-CC：总参数 30B、激活 3B，用于 IOI 2025 的对照实验。
Nano 在 IOI 2025 上的分数变化说明了提升来自哪里：基础模型 130 分，监督微调后 280 分，强化学习后 291 分，加上「生成-验证-修正」的推理流程后 468 分（金牌线 438.3）。最大的一步不是训练，而是推理时的验证与修正。NVIDIA 也报告，组合互补的监督微调与强化学习检查点，比单纯多采样更有效。
公开了什么
- Ultra-CC 权重（OpenMDW-1.1 许可，9 月 3 日已上 Hugging Face）
- IMO 用的监督微调与强化学习检查点、两份 IMO 数据集（41.5 万条证明类监督样本、9597 道强化学习题）
- 200 题的 Nemotron-IMO-Bench，以及 NeMo Skills 里的完整流程
没有公开训练算力。
对读者意味着什么
- 看竞赛成绩时，先问是谁评的分：官方评分员、第三方，还是自测。
- Nano 的数据说明，推理阶段的验证循环可以比再训练一轮带来更大的提升，这个做法可以搬到自己的任务上。
- 数据与流程开放，想复现或做后训练的团队有了一份完整的参考配方。
Why now
Why it matters
#一份开放权重、开放数据的竞赛级配方，而且两项成绩的分量不同：IMO 由官方评分，IOI 是自测。它的消融数据还说明，推理时的验证与修正循环带来的提升比强化学习更大。
Background
Technical context
#混合专家模型（MoE）每次只激活一部分参数，550B 总参数里每个 token 只用 55B。NVFP4 是 NVIDIA 的 4 位浮点格式，用来降低显存与带宽。生成-验证-修正指模型先给出答案，再检查、再改，循环多轮。
Audience
Who should care
#Next
Learning path
#- 读《混合专家模型（MoE）架构》，理解总参数与激活参数的区别
- 读《合成数据与数据配方》，看 41.5 万条证明样本这类数据怎么构造
- 对照 Nano 在 IOI 2025 上 130 → 280 → 291 → 468 的变化，分清训练与推理各贡献多少
- 读本站 Gowers 的信号，了解数学家对模型证明能力的看法
Network
Where it sits in the network
#How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.
Further thought
Follow-up questions
#- 550B 与 335B 的参数量差异是怎么回事？
- 生成-验证-修正循环在你的任务上能不能用？验证器从哪里来？
- 没有公开训练算力，复现这套配方大概需要多少资源？
Publication record
Featured in
#The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.
技术简报 - 2026-10-08
Worth trackingWeekly review · Oct 5 – Oct 11
Worth tracking
Sources