机器学习

混合专家模型（MoE）架构

理解稀疏激活如何让总参数、推理算力与显存占用三者脱钩——读懂开源旗舰模型规格表和估算部署成本的前提概念。

进阶

前沿模型推理与部署

这个概念是什么意思

混合专家模型（Mixture of Experts, MoE）把稠密网络中的前馈层替换为多个「专家」子网络，每个 token 经路由器只激活其中少数几个。结果是三个此前绑定的量被拆开了：总参数决定模型容量（和显存下限），激活参数决定单次推理的计算成本，而路由质量决定这份容量被利用得多好。Inkling 的「1 万亿总参数、41B 激活」正是这种脱钩的直观例子——推理算力接近一个 41B 稠密模型，但知识容量远超之。

工程上最常被误读的一点：稀疏激活省的是算力，不是显存。所有专家的权重都必须在显存里待命（路由是逐 token 决定的），所以 1T 总参数的模型即便量化后仍需数百 GB 显存，部署门槛是数据中心级的多卡/多机。这也解释了为什么 MoE 是「大容量、可控推理成本」的路线，而不是「大模型跑在小硬件上」的路线。

读规格表时的三个检查点：一看总参/激活参数比（容量与算力的杠杆率）；二看专家数与共享专家设计（路由粒度）；三看推理引擎的 MoE 支持成熟度——执行引擎对专家并行、专家卸载的支持程度，直接决定纸面规格能否变成实际吞吐。

关系网络

在关系网络中的位置

这个概念相邻的技术信号与相关技能，点击节点可继续探索。

混合专家模型（MoE）架构

技术 · 9

模型之间只传 17 比特：一座桥补上一半差距
FreeToken：消费级机器不是缩水的服务器，是异构资源
vLLM v0.27.0：561 次提交，一个版本内为 Kimi K3 落齐整条推理栈
BigBang-v1：把数据生产系统本身当成优化对象，以及一处对不上的口径
SGLang v0.5.17：Kimi K3 首日可服务，以及一个认识会话的前缀缓存
Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化
vLLM v0.26.0：为 Inkling 万亿参数模型补齐推理全栈
Inkling：Thinking Machines 开源万亿参数多模态 MoE 模型
vLLM v0.25.0：Model Runner V2 成为默认执行引擎的大版本

技能 · 4

模型与输出评估
模型与推理引擎的支持路径
推理服务容量规划
旗舰模型发布解读与换代判断

可解释

这个概念能解释的技术信号

量子位 · 2026-09-07

借助

模型之间只传 17 比特：一座桥补上一半差距

大模型生成一个 token 时内部构建约两兆字节的状态，最后只吐出 17 个比特——而所有多模型协作系统（子智能体、模型委员会、路由调度）都建立在这 17 个比特之上。Mostik 让 753B 的 GLM-5.2 把隐藏状态通过一座小桥直接交给 4B 的 Qwen-3.5，全程不产生文本、两边权重完全冻结、桥是唯一被训练的部分。结果：4B 补上与 753B 约 50% 的差距、自身准确率 +25%、难题子集上 2 倍，而大模型侧推理成本降到约二十分之一。技术细节尚未公开，团队以比赛未结束为由拒绝披露。

这个概念在这里如何体现端侧与云端的分工一直被当成「谁跑哪一部分」的问题，而这条信号指出真正的瓶颈在接口上：两个模型之间每次只交换一个 token 的 17 个比特，把一百万个数值的内部状态整个丢掉。如果这条通道能变宽，那么「大模型算、小模型说」就成为一种新的成本结构——大模型只做便宜的预填充，昂贵的解码留给手机上的 4B。

端侧 AI推理与部署+1

查看相关信号

InfoQ 中文 · 2026-09-05

必备

FreeToken：消费级机器不是缩水的服务器，是异构资源

伯克利与 MIT 开源 FreeToken，一个面向消费级硬件的 MoE 推理引擎，共同作者包括 Databricks 联合创始人 Matei Zaharia 与 Ion Stoica，以及 Song Han、Kurt Keutzer。它的前提是换一个看法：个人电脑不是资源受限的数据中心节点，而是可弹性调度的异构资源——缓存未命中时不让 GPU 停下来等，而是按实时互连吞吐在 CPU 与 GPU 之间分配 token 计算。论文报告在 8GB 显存的 RTX 4060 笔记本上跑 Qwen3.6-35B 约每秒 39 个 token，同批 MoE 模型上解码快 3 到 4 倍、预填充快 6 到 30 倍。而社区正在争论的，恰好是这个基线是不是经过手工调优。

这个概念在这里如何体现端侧推理此前的默认框架是「把数据中心那一套缩小」，于是消费级机器上所有不足都被记成缺陷。FreeToken 换了框架：PCIe 带宽不是要绕开的限制，而是每一层都要重新求解的调度变量。它同时给出了智能体场景里最贵的那一项修复——前缀一变就整段重算的 KV 缓存失效。而它公开面对的两条质疑，恰好示范了一个性能数字该被怎样检查。

端侧 AI推理与部署+1

查看相关信号

vLLM Releases · 2026-08-10

必备

vLLM v0.27.0：561 次提交，一个版本内为 Kimi K3 落齐整条推理栈

vLLM v0.27.0 带来 561 次提交、242 位贡献者，在一个版本内为 Kimi K3 落齐从内核到双前端的整条支持路径；同时升级到 PyTorch 2.13（破坏性环境变更），并把 Model Runner V2 推进到非生成式负载。

这个概念在这里如何体现它回答了本站 07-16 发布 Kimi K3 时留下的悬念：开放权重公布之后，自托管推理栈多久能落到「有性能路径」那一级。答案是不到一个月，而且是一个版本内落齐。

推理与部署前沿模型

查看相关信号

量子位 · 2026-08-09

借助

BigBang-v1：把数据生产系统本身当成优化对象，以及一处对不上的口径

上海交大人工智能学院、深势科技与上海算法创新研究院组成的无尽前沿团队发布 BigBang-v1：35B 参数、推理时约 3B 激活、262K 上下文，后训练数据称 100% 由 AI 自主合成，Apache-2.0 开源。可复用的不是跑分，而是它对任务的两个硬条件——必须同时前沿且可验证；缺一，合成数据都会迅速贬值。附一条核对：报道称它是「首个 RSI 原生训练的基座模型」，而 Hugging Face 上的元数据把它标为 Qwen3.6-35B-A3B 的微调。

这个概念在这里如何体现模型越强，能给它出题、解题、验证的人越少——高质量训练数据的瓶颈正在从「收集」转移到「出题」。这条信号给出的可复用判据是：能撑起自我进化的任务必须同时具备前沿性与可验证性，缺一数据都会快速贬值。附带一个方法上的收获：它的开放权重让「首个 RSI 原生基座模型」这个宣传口径当场就能被制品校对出偏差。

前沿模型工作流

查看相关信号

SGLang Releases · 2026-08-08

借助

SGLang v0.5.17：Kimi K3 首日可服务，以及一个认识会话的前缀缓存

582 个 PR、194 位贡献者的一次大版本。Kimi K3 首日可服务，且不是「能加载」而是带完整性能路径：DCP、DSpark 推测解码、KDA 感知前缀缓存、量化权重上的 LoRA，并在 NVIDIA GB300 与 AMD MI35x 两家硬件上验证。真正的新东西是一个认识会话的统一前缀缓存——淘汰不再只按缓存策略，而是知道哪些前缀仍被活跃会话引用。

这个概念在这里如何体现旗舰模型的「发布日」和「你能用上它的日子」正在合并。Kimi K3 在这一版里是首日可服务，而且带的是完整性能路径与两家硬件的验证，不是勉强能加载。对自托管的团队来说，这把换代决策的时间窗口从「等几个月看引擎跟不跟」压缩到了「看这一版的发布说明」。另有一条更安静的变化：前缀缓存开始认识会话，推理层第一次长出了智能体形状的概念。

推理与部署前沿模型+1

查看相关信号

Ollama Releases · 2026-07-25

必备

Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化

Ollama v0.32.4 通过 MLX 引擎为 Apple GPU 增加 Laguna 模型支持，让推测解码的草稿模型输出头按指定精度量化，并修复了 Qwen3 MoE 在专家量化精度不一致时的解码问题，打包的 gate/up 投影在 M5 Max 上提速约 4–9%。注意：本版的 MLX Laguna 路径存在会降低 NVFP4 模型输出质量的缺陷，已在两天后的 v0.32.5 修复——要在 Apple GPU 上跑 Laguna 请直接用 v0.32.5。

这个概念在这里如何体现端侧跑 MoE 模型的瓶颈已经从「能不能加载」转移到「量化路径干不干净」。这一版把草稿模型输出头量化和专家精度不一致两个坑同时补上，是本地推理走向可用的具体一步。

端侧 AI推理与部署

查看相关信号

vLLM Releases · 2026-07-25

必备

vLLM v0.26.0：为 Inkling 万亿参数模型补齐推理全栈

vLLM 发布 v0.26.0，来自 212 位贡献者的 411 个提交。最重要的一条是为 Thinking Machines 开源的 Inkling 模型家族提供完整支持栈：基础建模、分段 CUDA Graph、Hopper 架构的 FA4 相对注意力，以及 MTP=1 的推测解码。

这个概念在这里如何体现开源万亿参数模型从「放出权重」到「主流推理引擎上可用」的间隔被压到了十天量级，而且是基础建模、图捕获、注意力核、推测解码一次配齐。这改变了自建推理团队评估新模型的排期假设。

推理与部署前沿模型

查看相关信号

Hugging Face Blog · 2026-07-15

释义

Inkling：Thinking Machines 开源万亿参数多模态 MoE 模型

Thinking Machines 开源 Inkling：约 1 万亿总参数、41B 激活参数的 MoE 多模态模型，原生处理文本/图像/音频输入，支持 1M 上下文，训练数据覆盖 45 万亿 token 的文本、图像、音频与视频。发布即获得 Transformers、vLLM、SGLang、llama.cpp、Unsloth 的支持。

这个概念在这里如何体现开源权重第一次同时具备万亿参数、原生多模态与 1M 上下文这组旗舰规格，直接改变「开源 vs 闭源 API」的选型格局；而 600GB 起步的显存需求也把自托管的容量规划难度抬到了新档位。

多模态推理与部署+1

查看相关信号

vLLM Releases · 2026-07-11

延伸