vLLM v0.26.0

这次发布做了什么

vLLM v0.26.0 汇集了 212 位贡献者（其中 61 位是新面孔）的 411 个提交，是一次体量很大的版本。发布说明把「新增 Inkling 模型家族的完整支持栈」放在了第一条。

为什么是 Inkling

Inkling 是 Thinking Machines 在 7 月中旬开源的万亿参数级多模态 MoE 模型——本站已经把它作为当日头条信号收录。开源权重和「能在主流推理引擎上跑起来」之间，通常还隔着几周到几个月的适配工作：注意力核、图捕获策略、量化路径、并行切分，每一项都要针对具体架构重写。v0.26.0 把这段距离压缩到了十天左右。

支持栈包含四个层次：

• 基础建模：模型结构本身在 vLLM 内的实现；
• 分段 CUDA Graph（piecewise CUDA graph）：把前向过程切成可以分别捕获的片段，让 MoE 这类含动态路由的结构也能吃到 CUDA Graph 的调度收益，而不必整图捕获；
• Hopper FA4 相对注意力：针对 H100 一代硬件的注意力核实现；
• MTP=1 推测解码：多 token 预测形态的推测解码，用小步长的草稿换取解码吞吐。

值得注意的信号

把这四条放在一起看，重点不是「又一个模型被支持了」，而是开源推理栈对新架构的适配周期正在明显缩短，并且适配是成套的——不是先能跑通、几个版本后才补上性能路径。对于要在本地或自有集群上评估新开源模型的团队，这直接改变了「等多久才能真正测起来」的预期。