Meta 开源 Muse Spark Open：816B 多模态 MoE

发生了什么

Meta 发布了开放权重模型 Muse Spark Open，这是 Muse 系列中体量最大的一款。它沿用该系列上一款小模型 Muse Glimmer 的 tokenizer 与词表，但在架构上把每层的稠密前馈网络替换成专家混合（MoE）结构。

模型总参数约 8160 亿，每个 token 只激活约 420 亿；输入可以是文本、图像、音频和视频，输出只有文本。推理上下文窗口最长 100 万 token，图像、视频、音频 token 与文本共用同一个窗口。

具体内容

架构上的关键数字：

• 语言模型 62 层，隐藏维度 8192。
• 每层 128 个 query 头、16 个 key-value 头（分组查询注意力），每头 64 维。
• 每个 MoE 层 256 个专家，路由为每个 token 选 8 个；专家占模型总参数约 97%。
• 注意力块带输出门与输出归一化，并对 query 和 key 做归一化（QK-norm）；每个块的输入输出通过可学习的残差门结合，而非直接相加。

部署方面，所有 256 个专家都要常驻显存，因此显存需求按 8160 亿参数模型计算，但计算速度接近 420 亿参数模型。BF16 checkpoint 以 safetensors 格式存储约 1.5 TB；NVFP4 checkpoint 用 4 位精度存储参数，原文称精度损失可忽略，专为 NVIDIA Blackwell GPU 准备。原文给出的参考部署方式是：BF16 在 4 个节点、每节点 8 张 H200 上以张量并行 TP=32 运行，NVFP4 在单节点 B200 上运行。

多模态侧，感知编码器 1.8B 参数、50 层、隐藏维度 1536、16 个注意力头，把图像切成 14×14 的 patch；视频帧走同一编码器。音频编码器每 80 毫秒输出一个音频 token，即每秒 12.5 个 token，10 秒音频对应约 125 个输入 token。

长上下文方面，配置中 max_position_embeddings 设为 1,048,576。按原文计算，每个 token 向 KV 缓存写入 126,976 个值，BF16 下约 250 KB/token，满 100 万 token 上下文约需 266 GB。

推理支持上，transformers 提供 MuseSparkForConditionalGeneration 与 MuseSparkProcessor，用 DistributedConfig 分别设置 tp_size 与 ep_size；原文同时给出 llama.cpp、vLLM、SGLang 的部署配方。推理强度通过 low/medium/high/xhigh 映射到 16/64/256/512，且无法完全关闭推理，简单任务建议用 low 以少消耗 token。

与以往相比

与同系列 8 月发布的 Muse Glimmer 相比，Muse Spark Open 把稠密前馈换成 MoE，规模大幅提升，并新增音频编码器，因此可以处理带声音的视频。原文称它是目前美国开放权重模型中最强的一个。

对读者意味着什么

1. 想自托管的话，先算显存而不是看激活参数：8160 亿参数常驻显存与 1.5 TB 的 BF16 权重决定了这不是单机能跑的东西，NVFP4 版本把门槛压到单节点 B200，但绑定了 Blackwell。
2. 做智能体编码产品的团队可以评估它的多模态输入：截图、录屏、语音笔记与代码库可以进同一个上下文，适合需要一边看界面一边改代码的任务。
3. 长上下文有明确成本：100 万 token 的 KV 缓存按原文估算约 266 GB，容量规划时要和权重显存一起算。