Reflection 放出 Beam：501B MoE、1M 上下文

发生了什么

美国新实验室 Reflection 发布了首个模型 Beam，权重托管在 Hugging Face 上。这是一个稀疏混合专家（MoE）模型：总参数 501B，每个 token 只激活其中约 23B，上下文窗口为 1M token，采用 Apache 2.0 许可。官方的定位是面向希望在自己硬件、基础设施或云上运行前沿规模模型、并按自身场景定制的团队，重点是编码与智能体任务。

Beam 还附带一个基于 Rust 的开源 harness，官方称它能让模型发挥最佳性能。transformers、SGLang 和 vLLM 在发布当天即提供支持，Hugging Face 与 Reflection 团队合作给出了推理、SFT 和 RL 的配方。

架构与规格

• 解码器共 52 层，隐藏维度 5,120；使用分组查询注意力，48 个查询头、8 个 KV 头。
• 大多数层只在最近 512 个 token 的滑动窗口内做注意力，每第六层和最后一层做全上下文注意力，即 43 层滑动窗口加 9 层全局。全局层不做位置编码，改用随可见 token 数缓慢增长的查询缩放。
• 前 3 层是稠密 SwiGLU MLP，其余 49 层为 MoE，每层 256 个专家，每个 token 路由到 8 个。路由沿用 DeepSeek-V3 的分组受限方案，但不设共享专家。
• 专家参数占模型总量的 98.4%。部署时 256 个专家都要常驻内存，所以显存按 501B 模型算，速度却接近 23B 模型。
• 残差连接采用按步数衰减的加权方式，使残差流在全程保持恒定尺度。
• 模型提供 BF16、FP8、NVFP4 三种 checkpoint，BF16 版以 safetensors 格式存储约 1 TB。
• 支持跨轮保留推理内容（preserve_thinking）、带专用文法的工具调用，以及五档推理强度：low、medium（默认）、high、xhigh、max。
• 附带 DFlash2 推测解码草稿模型。

长上下文与硬件

混合注意力直接决定了 KV 缓存的增长速度：43 层滑动窗口每层只保留固定 512 token，不再增长；只有 9 层全局层保留完整序列。因此每 token 的缓存增量是 36 KiB，约为全部 52 层都做全局注意力时的六分之一。按官方给出的每序列数字，1M 上下文下 KV 缓存约 36.08 GiB，而朴素做法需要 208 GiB。

部署方面，最实用的路线是 NVFP4 checkpoint，可把 1 TB 的 BF16 权重压到约 280 GB，且官方称其保留了大部分质量。NVFP4 需要 Blackwell 代 GPU 原生支持；更早的 H200 等卡则用 FP8 版本。单张 B200 有 180 GB 显存，两张勉强放下权重、留给激活和 KV 缓存的空间很少，官方建议按四张 B200（720 GB）规划，或使用 8 卡 B200 节点、两张 B300（各 288 GB），甚至 8 张 RTX Pro 6000。没有 Blackwell 硬件的团队可以先用托管推理服务试用。

基准成绩

Reflection 提供了三个精度档位的成绩单。BF16 版本在 SWE Bench Verified 上为 81.6%，Terminal Bench v2.1 为 80.1%，AIME 2026 为 97.7%，HLE 无工具 36.0%、带工具 51.1%，GPQA Diamond 为 90.6%，MCP Atlas 为 80.8%。FP8 与 NVFP4 版本在多数项目上与 BF16 相差不大，个别项甚至略高，例如 SWE Bench Pro v2-Hard 在 NVFP4 下为 78.6%，BF16 为 76.5%。这些数字均来自发布方，尚待第三方复测。

对读者意味着什么

1. 如果你的团队在评估自托管前沿编码模型，Beam 是少数同时具备开放权重、Apache 2.0 和 1M 上下文的选项，但先按 501B 的显存需求算清硬件账。
2. 如果手上只有 Hopper 或更早的卡，FP8 checkpoint 是可行路径；想用 NVFP4 的显存收益，则要规划 Blackwell 资源。
3. 基准分数由发布方提供，落地前应在自己的任务集上复测，尤其关注长上下文和工具调用场景。