评估与分析
推理服务容量规划
估算并发、显存与成本三者的关系，判断一次推理栈升级或模型更换对自托管服务意味着什么。
本页目录5 节
阅读顺序
先读这些
#知识 · 软件架构 · 进阶
必备交互系统中的延迟权衡
交互系统里决定体验的不是平均延迟这一个数，而是用户在等待期间知道什么——语音与端侧 AI 让这条老经验重新变得要紧。
这项技能能帮你做什么
#推理引擎的大版本升级（如 vLLM 的 Model Runner V2 代际切换）会直接改变吞吐、延迟和 GPU 成本曲线，容量规划就是把这些变化翻译成可决策的数字。核心方法：先定延迟预算（P95 首 token 时间和整体响应时间），再由目标并发反推批量大小、KV 缓存占用和显存配置；量化方案与模型尺寸的选择应服从这个预算，而不是反过来。每次推理栈升级前，用一组固定的代表性请求做基准回放，比较升级前后的吞吐/延迟/成本三条曲线，而不是只看版本说明里的峰值数字。对本地与云混合部署（如 Ollama 的本地/云双轨），还要把两侧的容量分开核算：本地受限于单机显存，云端受限于配额与预算。这项技能让「要不要跟进这次升级」从直觉判断变成有数字支撑的决策。
关系网络
在关系网络中的位置
#这项技能相邻的技术信号与背景概念，点击节点可继续探索。
- TPU 巨核：同样是 16 块芯片，Kimi K3 快 57%
- Colibrì：25GB 内存跑 744B 模型，权重按需从硬盘读
- Pinterest 数百亿向量检索：量化与 SSD 的取舍明细
- vLLM v0.30.0：快速启动，外加生成水印
- Opus 5.5 与 GPT-6 同日降价，最贵的一档没有动
- 平均成功率 77%，五次全对只有 53%：智能体的一致性差距
- 90 亿个变异预先算好：把模型变成一份资源
- FreeToken：消费级机器不是缩水的服务器，是异构资源
- 同一个集群多出 33 个点的利用率：变的只是分配顺序
- Cloudflare Computer：不给智能体一个容器，给它一台机器
- vLLM v0.27.0：561 次提交，一个版本内为 Kimi K3 落齐整条推理栈
- 一次 180 万美元的智能体账单：超预算 860%，五个月后才被发现
- SGLang v0.5.17：Kimi K3 首日可服务，以及一个认识会话的前缀缓存
- LFM2.5-Encoders：能在 CPU 上跑长文档的小编码器，长上下文比 ModernBERT 快 3.7 倍
- Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化
- vLLM v0.26.0：为 Inkling 万亿参数模型补齐推理全栈
- Ollama v0.32.0：本地运行时转型智能体工作台
- vLLM v0.25.0：Model Runner V2 成为默认执行引擎的大版本
- vLLM 的 Transformers 后端达到原生速度：450+ 架构免移植高性能推理
用已发布信号练习
这项技能有助于评估的技术信号
#量子位 · 2026-09-26
印证TPU 巨核：同样是 16 块芯片，Kimi K3 快 57%
vLLM 原班人马创办的 Inferact 开源了一组 TPU 推理内核：把 Kimi K3 的 92 层计算写进同一个程序，趁当前层还在计算时预取下一层的权重。16 块 TPU v7 配合推测解码每秒输出 709 个 token，基线是 vLLM 在 16 块 GB200 上的 452 个。两种芯片的内存带宽其实是 GB200 略高，差距来自软件怎样用满它。这是面向单个用户、小批量解码的成绩。
量子位 · 2026-09-26
印证Colibrì：25GB 内存跑 744B 模型，权重按需从硬盘读
开源推理引擎 Colibrì 把显存、内存和固态硬盘当成同一套存储层级：744B 的 GLM-5.2 每个 token 只激活约 40B 参数，于是常驻内存的只有约 9.9GB 的稠密部分，19,456 个路由专家留在硬盘上按需读取。它不保证速度，只保证不悄悄改动模型：25GB 的开发机冷缓存时每秒 0.05 到 0.1 个 token，128GB 的纯 CPU 台式机约 1.8 个。
InfoQ 中文 · 2026-09-23
印证Pinterest 数百亿向量检索：量化与 SSD 的取舍明细
Pinterest 的搜索平台 Manas 在 80 个集群上服务数百亿嵌入向量。在 1 亿条向量上的离线基准里，标量量化把 HNSW 索引从 121GB 压到 50GB、召回几乎不掉；乘积量化压到 32GB，召回从 93.7% 掉到 77.3%。上线后服务成本降低 20% 到 30%。搬到 SSD 时，SPANN 加乘积量化的吞吐是 DiskANN 的 3 倍、延迟三分之一，召回低 5%。选哪种，取决于你的召回下限，不取决于压缩率。
vLLM Releases · 2026-09-22
印证vLLM v0.30.0：快速启动，外加生成水印
762 个提交、315 位贡献者。四件值得看：常驻的权重缓存守护进程让引擎重启时直接映射已量化、已切分的权重，不再从磁盘重载；Gumbel-max 水印生成与检测，且与推测解码兼容；稀疏 MLA 解码可把 KV 页溢出到主机内存；H200 上引擎初始化从 28.9 秒降到 8.2 秒。新增 DeepSeek-V4.1-Flash、GLM-5.3-Flash 等模型支持，另有六项破坏性变更，默认 CUDA 13.0。
Simon Willison Blog · 2026-09-22
印证Opus 5.5 与 GPT-6 同日降价，最贵的一档没有动
9 月 22 日 Anthropic 发布 Claude Opus 5.5，约一小时后 OpenAI 发布 GPT-6 Sol 与 GPT-6 Luna。Sol 和 Luna 的单价约为上一代的一半，Luna 每百万 token 输入 0.10 美元、输出 0.50 美元；Opus 5.5 降价 20%，缓存读取降 60%。最顶档的 GPT-6 Astra 与 Claude Fable 5.1 没动。对跑智能体的团队，缓存价格比标价更决定账单；而 Opus 5.5 的 max 推理档在一道画图题上两次想到撞上输出上限、没有返回任何结果。
Hugging Face Blog · 2026-09-15
延伸平均成功率 77%，五次全对只有 53%：智能体的一致性差距
IBM Research 指出，几乎所有基准只报平均成功率：AppWorld 上一个 GPT-4.1 的 ReAct 智能体五次运行平均成功 77.4%，但五次全对的任务只有 53.0%，差 24.4 个点，难任务上达 30 个点。原因在于决策分布的形状——平坦分布里的近似平局会被 GPU 浮点、批处理等平台侧扰动翻转，几十个决策串起来就累积成很大的走偏概率，所以温度设成 0 也没用。他们用一条轨迹、无需标准答案就能找出易翻转决策点，并据此生成指引，把差距从 24.4 降到 12.0 个点，平均准确率不降。
Google DeepMind Blog · 2026-09-08
必备90 亿个变异预先算好：把模型变成一份资源
Google DeepMind 发布 AlphaGenome Atlas：人类基因组中全部 90 亿个单核苷酸变异的分子效应预测，免费向学术研究开放。模型不是新的，新的是它被整个跑完一遍并发布出来——实验室里逐个测试 90 亿种突变不可行，而把预测大规模预先算好，就把一个需要调用的模型变成了一份可以直接查询的资源。数据集 1 PB，是 AlphaFold 数据库的 30 多倍；每个变异带数千项预测，跨数百种细胞类型。同时发布的 AVI 分数把两个模型压成一个数字，但每个分数都链接回驱动它的生物学特征——合成分数可以被拆回去。
InfoQ 中文 · 2026-09-05
延伸FreeToken：消费级机器不是缩水的服务器，是异构资源
伯克利与 MIT 开源 FreeToken，一个面向消费级硬件的 MoE 推理引擎，共同作者包括 Databricks 联合创始人 Matei Zaharia 与 Ion Stoica，以及 Song Han、Kurt Keutzer。它的前提是换一个看法：个人电脑不是资源受限的数据中心节点，而是可弹性调度的异构资源——缓存未命中时不让 GPU 停下来等，而是按实时互连吞吐在 CPU 与 GPU 之间分配 token 计算。论文报告在 8GB 显存的 RTX 4060 笔记本上跑 Qwen3.6-35B 约每秒 39 个 token，同批 MoE 模型上解码快 3 到 4 倍、预填充快 6 到 30 倍。而社区正在争论的，恰好是这个基线是不是经过手工调优。
Hugging Face Blog · 2026-08-17
延伸同一个集群多出 33 个点的利用率：变的只是分配顺序
Dharma-AI 做了一个带约束的 GPU 分配器，在七个基准场景里对上 FIFO 调度：硬件不变、负载不变，利用率最多多出 33 个百分点，按优先级加权的产出在每一个场景里都上升，最多翻倍还多。变的只有一件事——分配决定是按什么顺序做出来的。它同时把一个常被当作口号的目标翻译成了可执行的形式：不是「让 GPU 忙起来」，而是哪块卡在哪个时间片跑哪个任务、按什么优先级。
InfoQ 中文 · 2026-08-15
借助Cloudflare Computer：不给智能体一个容器，给它一台机器
本周第三个关于「智能体运行时归谁」的答案，而这一个换了单位：它认为容器根本不该是那个单位。框架跑在 isolate 里，容器按需连上来当作一次工具调用，两边共享同一套基于 SQLite 的文件系统。目标写得很直白——让不到一成的工作才需要容器。仍是早期预览版。
vLLM Releases · 2026-08-10
必备vLLM v0.27.0：561 次提交，一个版本内为 Kimi K3 落齐整条推理栈
vLLM v0.27.0 带来 561 次提交、242 位贡献者，在一个版本内为 Kimi K3 落齐从内核到双前端的整条支持路径；同时升级到 PyTorch 2.13（破坏性环境变更），并把 Model Runner V2 推进到非生成式负载。
量子位 · 2026-08-09
印证一次 180 万美元的智能体账单：超预算 860%，五个月后才被发现
亚马逊用 Claude Sonnet 给自家网站填充作者信息，花掉 180 万美元、超预算 860%、五个月后才被发现，而且最终没有部署成功。同期 Meta 员工 30 天消耗 73.7 万亿 token，Uber 四个月烧完全年编码预算。一项调查显示只有 26% 的企业对自身 AI 成本具备全面可见性。这不是一条价格新闻——它是「智能体安静地做错事」这个失败模式的又一种形态：不报错，只出账单。
SGLang Releases · 2026-08-08
借助SGLang v0.5.17：Kimi K3 首日可服务，以及一个认识会话的前缀缓存
582 个 PR、194 位贡献者的一次大版本。Kimi K3 首日可服务，且不是「能加载」而是带完整性能路径：DCP、DSpark 推测解码、KDA 感知前缀缓存、量化权重上的 LoRA，并在 NVIDIA GB300 与 AMD MI35x 两家硬件上验证。真正的新东西是一个认识会话的统一前缀缓存——淘汰不再只按缓存策略，而是知道哪些前缀仍被活跃会话引用。
Hugging Face Blog · 2026-07-28
借助LFM2.5-Encoders：能在 CPU 上跑长文档的小编码器，长上下文比 ModernBERT 快 3.7 倍
Liquid AI 发布两个开源编码器 LFM2.5-Encoder-230M 与 350M：在 GLUE、SuperGLUE 和多语任务上追平更大的编码器，支持 8,192 token 上下文，长上下文场景下在 CPU 上比 ModernBERT-base 快约 3.7 倍。它针对的是被生成式模型遮住的那一半生产负载——意图路由、策略检查、PII 识别、文本分类，这些任务整天在跑、大多跑在 CPU 上，且输入越来越长。
Ollama Releases · 2026-07-25
必备Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化
Ollama v0.32.4 通过 MLX 引擎为 Apple GPU 增加 Laguna 模型支持，让推测解码的草稿模型输出头按指定精度量化，并修复了 Qwen3 MoE 在专家量化精度不一致时的解码问题，打包的 gate/up 投影在 M5 Max 上提速约 4–9%。注意：本版的 MLX Laguna 路径存在会降低 NVFP4 模型输出质量的缺陷，已在两天后的 v0.32.5 修复——要在 Apple GPU 上跑 Laguna 请直接用 v0.32.5。
vLLM Releases · 2026-07-25
必备vLLM v0.26.0：为 Inkling 万亿参数模型补齐推理全栈
vLLM 发布 v0.26.0，来自 212 位贡献者的 411 个提交。最重要的一条是为 Thinking Machines 开源的 Inkling 模型家族提供完整支持栈：基础建模、分段 CUDA Graph、Hopper 架构的 FA4 相对注意力，以及 MTP=1 的推测解码。
Ollama Releases · 2026-07-14
借助Ollama v0.32.0：本地运行时转型智能体工作台
Ollama 发布 v0.32.0：直接运行 ollama 命令现在会启动一个交互式智能体，可以聊天、写代码、联网搜索并委派实际工作。本地模型运行时正式向智能体入口转型。
vLLM Releases · 2026-07-11
借助vLLM v0.25.0：Model Runner V2 成为默认执行引擎的大版本
vLLM 发布 v0.25.0：558 个提交、232 位贡献者参与的大版本。Model Runner V2 正式成为所有稠密模型的默认执行引擎，在上一版本量化模型支持的基础上完成了推理执行栈的代际切换。
Hugging Face Blog · 2026-07-08
借助vLLM 的 Transformers 后端达到原生速度：450+ 架构免移植高性能推理
Hugging Face 与 vLLM 宣布：vLLM 中的 Transformers 建模后端在 Qwen3 4B/32B 稠密模型和 235B FP8 MoE 上全面追平甚至反超 vLLM 手写原生实现。模型作者只需一个 --model-impl transformers 开关，就能让 Transformers 实现直接获得 vLLM 级推理性能，无需移植。
背景概念
与这项技能搭配的知识
#机器学习 · 进阶
印证推测解码与推理加速技术
自回归生成的逐 token 串行是大模型推理延迟的根源；推测解码、连续批处理与 KV 缓存管理从算法与系统两层，把同样的硬件榨出数倍吞吐。