vLLM v0.32.0：结构化决策接口，KV 缓存精度再降

发生了什么

vLLM 发布 v0.32.0。按发布说明，这一版包含 814 个 commit，来自 363 位贡献者，其中 121 位是首次参与。

具体内容

• 新增 POST /v1/systemone 接口，可针对结构化状态回答 choice、noul 和 score 类问题（#59299），默认启用（#60677、#60696），并可在 Cloudflare/clef-omni（#61064）、LiquidAI/d1-3B（#60676）和 DiffusionGemma（#60466）上运行。
• 新增通用 hf 工具与推理解析器（--tool-call-parser hf、--reasoning-parser hf），通过读取 checkpoint 的 response_template，让自带该模板的模型无需专用解析器（#58604、#58602），Python 与 Rust 前端都支持（#59005）。
• 低精度 KV 缓存进一步铺开：NVFP4 KV 缓存支持 SM8x 与 SM12x（#46963）、SM90（#60620），并在 SM12x 上配合 XQA 解码（#60452）；在 SM100 上用于 MiniMax-M3 稀疏注意力（#59300）。
• GLM-5.x 在 SM100 上默认用 FP8 KV 缓存，单 rank 的 KV 显存减半；按 PR 中的 benchmark，吞吐提升 2.3-5.5%，代价是 TTFT 增加 7-11%（#60140、#60281）。
• SM90 上的 fp8_ds_mla 让 GLM-5.3-Flash 的输出吞吐最多提升 31%（#59246）。
• ROCm 增加 4 位 ultraquant_4bit KV 缓存，密度约为 FP8 的 2 倍（#57057）。
• Model Runner V2 增加变长草稿的 GPU n-gram 推测器（#40704）、Elastic EP（#53934）、MLA 模型的流水线并行加 prefill 上下文并行（#59139）和原生 torch.compile 模式（#59079）；MRV2 在 ROCm 上成为默认，并移除了模型特定的 MRV1 例外（#56360）。
• 启动与服务方面，vllm download-kernels 可安装 FlashInfer 预编译内核（#58765），vllm preload --preload-autotune 等选项用于加速启动。

对读者意味着什么

1. 使用 GLM-5.x 的团队可以复核 FP8 KV 缓存默认带来的显存与吞吐变化，尤其要按自己的负载确认 TTFT 代价。
2. 有自带 response_template 的模型时，可以先试通用 hf 解析器，减少为每个模型单独写解析器的工作。
3. 在 ROCm 上部署的团队需要注意 MRV2 已成默认，升级前应回归测试原有模型路径。