主题聚合
训练与后训练
预训练、强化学习、微调与合成数据，以及训练框架和环境。
跟进此话题
站内关注 · 站外订阅话题图谱
16 个节点 · 47 条连接- 本话题的内容
- 话题外的邻居
- 渊源 · 续作 · 延伸
- 必备 · 借助
- 释义 · 印证
- 关联
已发布技术信号
12 条记忆张量开源 MemT 1.0：把记忆原生写进 Transformer
记忆张量开源记忆原生模型 MemT 1.0，含 36B 总参数、激活 3B 的 Nano 与 288B 总参数、激活 17B 的 Flash 两个型号，在 Transformer 模块中加入与注意力并行的记忆分支，把经验编码为可读写的内部状态。论文称这是记忆原生模型首次完成近 300B 参数规模的工程验证。
PyTorch 原生支持 Trainium：TorchNeuron 公测
AWS Trainium 通过 TorchNeuron 插件成为 PyTorch 的原生设备：eager 模式、torch.compile 与 FSDP、张量并行都用 PyTorch 自己的接口，10 月 20 日起公测。Transformers、Diffusers、Kernels 原生支持，前 100 个常用文本生成架构里 89% 开箱即用（Optimum Neuron 时是 46%），Hugging Face 建议不再经过 Optimum Neuron。
MiMo-V2.6 技术报告：小米花 260 万美元跑一次强化学习
小米 MiMo 团队 10 月 8 日发布 MiMo-V2.6 技术报告：Pro（1.02T 总参数、激活 42B）与 Flash（310B、激活 15B）两款 MoE 模型，强化学习同时扩大批量、任务环境与评分算力。每步约 2.5 万条轨迹、27 亿至 37 亿 token，Pro 的强化学习花费约 260 万美元，其中评分器占 12.7%。训练全程冻结 MoE 路由，作弊轨迹控制在 2% 以下；训练动态、强化学习环境与框架开源。
Agent Lightning：线上 harness 直接参与强化学习
微软亚洲研究院开源 Agent Lightning v1.0，提出 Harnessed Agentic RL 训练范式：不改动部署时的智能体 harness，只把模型端点指向框架的代理，即可让真实 harness 参与强化学习。框架约 3500 行代码，原生支持 Kubernetes，在 SWE-bench Verified 上把 Qwen3.5-9B 从 41.8% 提升到 56.4%，仅用约 6000 条训练样本。
Olmo-core 3：开源 MoE 训练框架，吞吐提升到原来的 2.7 倍
Allen AI 10 月 1 日发布 Olmo-core 3，开源的大规模 MoE 训练框架。它从全分片数据并行（FSDP）改为数据并行加专家并行、流水线并行与分布式优化器，在 8 块 B300 上把吞吐从每卡每秒 1.94 万 token 提到 5.2 万 token，约 2.7 倍；MXFP8 比 BF16 再快 21%。在 512 块 GPU 上把模型扩到 1.2 万亿总参数（每 token 激活 584 亿），实验最高到 2.38 万亿。Allen AI 自己说明，万亿参数那次测试证明的是能扩到多大，不是持续训练的性能。
DeepSeek DSec：智能体训练拼的是沙盒
DeepSeek 公开智能体训练用的沙盒平台 DSec：单个生产单元约 160 个节点，每天约 300 万个沙盒，并发 38 万个以上，每秒创建 5,000 个以上。它用一套接口提供四种后端——无状态函数调用、容器、微虚拟机、完整虚拟机——按任务的隔离要求分档，并与强化学习框架协同设计，把有状态的推演和可被抢占的 GPU 训练拆开。训练环境第一次被一家实验室当成一等工程对象完整写出来。
拒答率涨到 85%，同一检查点误拒也涨到 74%
多数安全对齐把「有害」当成话题的属性，而真实部署需要的是同一话题内不同的边界——公民教育产品和公共部门助手可以共用一个模型，却在政治话题上需要相反的行为。论文把边界操作化成「共享话题锚点、只在意图上不同」的提示词对，并指出标准自生成流程的三个漏洞：单次引导静默丢掉 19.88% 的提示（很可能是最难的那些）、缺少表面危险的良性训练数据、以及常规划分根本不测量边界形状。最该记的是那对必须并排读的数字：Qwen3-8B 上政治拒答率从 9.47% 提到 84.75%、三个有害性基准的不安全响应率从 26.26% 降到 0.14%，而同一个检查点上 XSTest 的误拒率从 2.00% 涨到 74.00%。
BigBang-v1：把数据生产系统本身当成优化对象，以及一处对不上的口径
上海交大人工智能学院、深势科技与上海算法创新研究院组成的无尽前沿团队发布 BigBang-v1：35B 参数、推理时约 3B 激活、262K 上下文，后训练数据称 100% 由 AI 自主合成，Apache-2.0 开源。可复用的不是跑分，而是它对任务的两个硬条件——必须同时前沿且可验证；缺一，合成数据都会迅速贬值。附一条核对：报道称它是「首个 RSI 原生训练的基座模型」，而 Hugging Face 上的元数据把它标为 Qwen3.6-35B-A3B 的微调。
LFM2.5-2.6B：一个在智能体外壳里训练出来的端侧模型
Liquid AI 发布 2.6B 的端侧智能体模型：不到 2.5GB 内存，M5 Max 上 220 tok/s、Ryzen 上 113 tok/s、手机上约 30 tok/s，工具使用与指令跟随几乎全线压过 4 倍大的模型。真正值得注意的不是尺寸，而是后训练的最后一段直接在 OpenClaw、Hermes Agent 这类真实智能体外壳内部跑强化学习——适配的方向反了过来。
NeMo Automodel 接入 Diffusers：任意扩散模型的规模化分布式微调
NVIDIA 与 Hugging Face 联合发布 NeMo Automodel 与 Diffusers 的集成：Hub 上任意 Diffusers 格式的扩散模型（FLUX、Wan、HunyuanVideo 等）无需权重转换、无需改写模型即可进行生产级分布式微调，从单卡平滑扩展到数百 GPU，Apache 2.0 开源。
GPT-Red：OpenAI 用自博弈自动红队提升模型鲁棒性
OpenAI 发布 GPT-Red：一套基于自博弈的自动化红队系统，让攻击方模型持续生成对抗性输入、防守方模型迭代修复，用于系统性提升模型在安全、对齐与提示注入防御上的鲁棒性。
NVIDIA Nemotron 开放数据：用合成数据支撑智能体开发
NVIDIA 在 Hugging Face 发文阐述智能体时代的数据主张：真正的智能体能力来自工程轨迹、工具调用失败、多步推理、检索与用户模拟等数据，而合成数据是规模化的关键。Nemotron 系列开放数据集（Nemotron-CC、CC-MATH、Pretraining）是这一主张的落地。