Machine learning
混合专家模型（MoE）架构
理解稀疏激活如何让总参数、推理算力与显存占用三者脱钩——读懂开源旗舰模型规格表和估算部署成本的前提概念。
This concept is written in Chinese.
On this page5 sections
What this concept means
#混合专家模型（Mixture of Experts, MoE）把稠密网络中的前馈层替换为多个「专家」子网络，每个 token 经路由器只激活其中少数几个。结果是三个此前绑定的量被拆开了：总参数决定模型容量（和显存下限），激活参数决定单次推理的计算成本，而路由质量决定这份容量被利用得多好。Inkling 的「1 万亿总参数、41B 激活」正是这种脱钩的直观例子——推理算力接近一个 41B 稠密模型，但知识容量远超之。
工程上最常被误读的一点：稀疏激活省的是算力，不是显存。所有专家的权重都必须在显存里待命（路由是逐 token 决定的），所以 1T 总参数的模型即便量化后仍需数百 GB 显存，部署门槛是数据中心级的多卡/多机。这也解释了为什么 MoE 是「大容量、可控推理成本」的路线，而不是「大模型跑在小硬件上」的路线。
读规格表时的三个检查点：一看总参/激活参数比（容量与算力的杠杆率）；二看专家数与共享专家设计（路由粒度）；三看推理引擎的 MoE 支持成熟度——执行引擎对专家并行、专家卸载的支持程度，直接决定纸面规格能否变成实际吞吐。
Network
Where it sits in the network
#The signals and skills next to this concept. Follow any link to keep exploring.
Matched automatically
Signals that mention it
#Matched from the signals' text, not picked by an editor; those listed in the section above are not repeated.
MPS in PyTorch 2.15
MoE 与 LLM 解码加速。 解码阶段每个新 token 以单行走过模型，大矩阵乘退化为矩阵向量乘…记忆张量开源 MemT 1.0：把记忆原生写进 Transformer
…MoE 的稀疏路由不同。Welcome Beam: a 501B open model you can own, customize, and scale
…权重托管在 Hugging Face 上。这是一个稀疏混合专家（MoE）模型：总参数 501B，每个 token 只激活其中约 23B…Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
…Muse Glimmer 的 tokenizer 与词表，但在架构上把每层的稠密前馈网络替换成专家混合（MoE）结构。MiMo-V2.6 技术报告：小米花 260 万美元跑一次强化学习
两者都是稀疏混合专家（MoE）结构，文本主干混用局部滑动窗口注意力与全局注意力…One Model Family, Two Gold-Level Results: Fine-Tuning Nemotron for IOI and IMO
Nemotron-3-Ultra-CC：总参数 550B、激活 55B 的混合专家模型，只做了监督微调，以 NVFP4 精度发布…
Show 6 more
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
能训练万亿参数 MoE 的开源框架很少，大多数实验室的训练代码不公开…DeepSeek 开源昇腾版 DeepGEMM 等组件：接口与 NVIDIA 版相同
TileKernels：常用算子库，包括 MoE 路由、量化、位置编码Holo4: powering generalist computer-use agents
Holo4-35B-A3B：混合专家（MoE）模型，总参数 350 亿、每个 token 激活约 30 亿。How Much Memory Does Your Agent Actually Need?
…MoE）拿到自己挖出的全套指引后，任务完成度涨了 9.5 个百分点。State of Open Models: Summer 2026 Observations
…约 284B）与 Kimi-K3（约 2.8T）的 GGUF 构建——本地推理从「笔记本上跑 8B」变成了「几台消费级机器上摊开一个万亿参数的混合专家模型」。Native-speed vLLM transformers modeling backend
…8×H100 上数据并行 + 专家并行的 235B FP8 MoE。结果是 Transformers…