技术信号

为什么重要自托管推理的成本不只在每个 token，也在每次重启、每次扩容、每次显存不够时。这一版同时动了三处：重启不再重载权重、KV 可以溢出到主机内存、引擎初始化快了三倍多；并把文本水印变成了开源引擎的通用功能。另有六项破坏性变更，升级前要逐条核对。

为什么重要它回答了本站 07-16 发布 Kimi K3 时留下的悬念：开放权重公布之后，自托管推理栈多久能落到「有性能路径」那一级。答案是不到一个月，而且是一个版本内落齐。

为什么重要开源万亿参数模型从「放出权重」到「主流推理引擎上可用」的间隔被压到了十天量级，而且是基础建模、图捕获、注意力核、推测解码一次配齐。这改变了自建推理团队评估新模型的排期假设。

为什么重要推理引擎的默认执行栈切换会直接改变吞吐、延迟和 GPU 成本曲线。vLLM 是目前自建大模型服务最主流的开源选择，它的大版本升级几乎影响所有自托管推理团队。

为什么重要自托管推理的事实标准级引擎保持高频迭代：稳定版与下一版 rc 并行推进，意味着私有化部署的性能与成本基线还在持续被刷新。