评估与分析

推理服务容量规划

估算并发、显存与成本三者的关系，判断一次推理栈升级或模型更换对自托管服务意味着什么。

当前热门学习成本中等
推理与部署可观测性

这项技能能帮你做什么

推理引擎的大版本升级（如 vLLM 的 Model Runner V2 代际切换）会直接改变吞吐、延迟和 GPU 成本曲线，容量规划就是把这些变化翻译成可决策的数字。核心方法：先定延迟预算（P95 首 token 时间和整体响应时间），再由目标并发反推批量大小、KV 缓存占用和显存配置；量化方案与模型尺寸的选择应服从这个预算，而不是反过来。每次推理栈升级前，用一组固定的代表性请求做基准回放，比较升级前后的吞吐/延迟/成本三条曲线，而不是只看版本说明里的峰值数字。对本地与云混合部署（如 Ollama 的本地/云双轨），还要把两侧的容量分开核算：本地受限于单机显存，云端受限于配额与预算。这项技能让「要不要跟进这次升级」从直觉判断变成有数字支撑的决策。

关系网络

在关系网络中的位置

这项技能相邻的技术信号与背景概念，点击节点可继续探索。

推理服务容量规划
技术 · 14
知识 · 3

用已发布信号练习

这项技能有助于评估的技术信号

Hugging Face Blog · 2026-09-15

关联

平均成功率 77%，五次全对只有 53%：智能体的一致性差距

IBM Research 指出，几乎所有基准只报平均成功率：AppWorld 上一个 GPT-4.1 的 ReAct 智能体五次运行平均成功 77.4%，但五次全对的任务只有 53.0%，差 24.4 个点，难任务上达 30 个点。原因在于决策分布的形状——平坦分布里的近似平局会被 GPU 浮点、批处理等平台侧扰动翻转，几十个决策串起来就累积成很大的走偏概率，所以温度设成 0 也没用。他们用一条轨迹、无需标准答案就能找出易翻转决策点，并据此生成指引，把差距从 24.4 降到 12.0 个点，平均准确率不降。

为什么重要平均成功率回答的是「平均有多好」，而用户问的是「我再问一遍它还行吗」。77.4% 与 53.0% 之间的 24.4 个点，是一个几乎没有基准报告的差距。更实用的是两点：温度设成 0 挡不住它，因为平台侧的微小扰动足以翻转平坦分布里的近似平局；以及诊断只需要一条轨迹、不需要标准答案，任何在生产里跑智能体的团队都能照着做。
AI 智能体可观测性
查看相关信号

Google DeepMind Blog · 2026-09-08

必备

90 亿个变异预先算好：把模型变成一份资源

Google DeepMind 发布 AlphaGenome Atlas：人类基因组中全部 90 亿个单核苷酸变异的分子效应预测，免费向学术研究开放。模型不是新的，新的是它被整个跑完一遍并发布出来——实验室里逐个测试 90 亿种突变不可行，而把预测大规模预先算好，就把一个需要调用的模型变成了一份可以直接查询的资源。数据集 1 PB，是 AlphaFold 数据库的 30 多倍；每个变异带数千项预测，跨数百种细胞类型。同时发布的 AVI 分数把两个模型压成一个数字，但每个分数都链接回驱动它的生物学特征——合成分数可以被拆回去。

为什么重要可迁移的不是基因组学，是那个部署决定：当输入空间是有限且可枚举的，把模型整个跑完一遍、把结果发布成可查询的资源，比让每个人各自调用要便宜也可及得多。AlphaFold 数据库已经证明过一次，这是同一招在一个大 30 倍的数据集上的重演。第二点同样值得抄：AVI 把两个模型压成一个数字，却把驱动它的特征一起发出来——一个合成分数只有在能被拆回去时才是可用的。
前沿模型推理与部署+1
查看相关信号

InfoQ 中文 · 2026-09-05

延伸

FreeToken：消费级机器不是缩水的服务器，是异构资源

伯克利与 MIT 开源 FreeToken，一个面向消费级硬件的 MoE 推理引擎，共同作者包括 Databricks 联合创始人 Matei Zaharia 与 Ion Stoica，以及 Song Han、Kurt Keutzer。它的前提是换一个看法：个人电脑不是资源受限的数据中心节点，而是可弹性调度的异构资源——缓存未命中时不让 GPU 停下来等，而是按实时互连吞吐在 CPU 与 GPU 之间分配 token 计算。论文报告在 8GB 显存的 RTX 4060 笔记本上跑 Qwen3.6-35B 约每秒 39 个 token，同批 MoE 模型上解码快 3 到 4 倍、预填充快 6 到 30 倍。而社区正在争论的，恰好是这个基线是不是经过手工调优。

为什么重要端侧推理此前的默认框架是「把数据中心那一套缩小」，于是消费级机器上所有不足都被记成缺陷。FreeToken 换了框架：PCIe 带宽不是要绕开的限制，而是每一层都要重新求解的调度变量。它同时给出了智能体场景里最贵的那一项修复——前缀一变就整段重算的 KV 缓存失效。而它公开面对的两条质疑，恰好示范了一个性能数字该被怎样检查。
端侧 AI推理与部署+1
查看相关信号

Hugging Face Blog · 2026-08-17

延伸

同一个集群多出 33 个点的利用率：变的只是分配顺序

Dharma-AI 做了一个带约束的 GPU 分配器，在七个基准场景里对上 FIFO 调度：硬件不变、负载不变，利用率最多多出 33 个百分点，按优先级加权的产出在每一个场景里都上升，最多翻倍还多。变的只有一件事——分配决定是按什么顺序做出来的。它同时把一个常被当作口号的目标翻译成了可执行的形式：不是「让 GPU 忙起来」，而是哪块卡在哪个时间片跑哪个任务、按什么优先级。

为什么重要把利用率当目标是个陷阱：忙起来不等于产出更有价值。这篇给出的判据是「顺序本身就是一个容量决定」——在有争抢的集群里，哪些任务放得下取决于你按什么次序放，而不只是取决于总量。这让一笔已经在折旧的固定资产有了不换硬件就能取回的部分。
推理与部署可观测性+1
查看相关信号

InfoQ 中文 · 2026-08-15

借助

Cloudflare Computer：不给智能体一个容器，给它一台机器

本周第三个关于「智能体运行时归谁」的答案，而这一个换了单位：它认为容器根本不该是那个单位。框架跑在 isolate 里，容器按需连上来当作一次工具调用，两边共享同一套基于 SQLite 的文件系统。目标写得很直白——让不到一成的工作才需要容器。仍是早期预览版。

为什么重要同一周里第三种关于智能体运行时的答案，而它把问题往下推了一层：不是「运行时该由谁提供」，而是「运行智能体的单位该是什么」。如果按需连上的容器只服务不到一成的工作，那么成本模型、冷启动、状态持久化和可观测性都要重画一次。它同时是今天头条那条结论最干净的对照组——star 数差 14 倍，活跃度指标全部反向。
AI 智能体工作流+1
查看相关信号

vLLM Releases · 2026-08-10

必备

vLLM v0.27.0：561 次提交，一个版本内为 Kimi K3 落齐整条推理栈

vLLM v0.27.0 带来 561 次提交、242 位贡献者，在一个版本内为 Kimi K3 落齐从内核到双前端的整条支持路径；同时升级到 PyTorch 2.13（破坏性环境变更），并把 Model Runner V2 推进到非生成式负载。

为什么重要它回答了本站 07-16 发布 Kimi K3 时留下的悬念：开放权重公布之后，自托管推理栈多久能落到「有性能路径」那一级。答案是不到一个月，而且是一个版本内落齐。
推理与部署前沿模型
查看相关信号

量子位 · 2026-08-09

印证

一次 180 万美元的智能体账单：超预算 860%，五个月后才被发现

亚马逊用 Claude Sonnet 给自家网站填充作者信息，花掉 180 万美元、超预算 860%、五个月后才被发现，而且最终没有部署成功。同期 Meta 员工 30 天消耗 73.7 万亿 token，Uber 四个月烧完全年编码预算。一项调查显示只有 26% 的企业对自身 AI 成本具备全面可见性。这不是一条价格新闻——它是「智能体安静地做错事」这个失败模式的又一种形态：不报错，只出账单。

为什么重要本站此前讨论智能体失败，讲的都是「答错了却说自己做完了」。这批案例给出了更早、也更难察觉的一种：什么都没错，只是没人知道它还在跑。亚马逊那笔 180 万美元的账单五个月无人察觉、最终还没部署成功，而全行业只有 26% 的企业能看清自己的 AI 成本。对任何准备把智能体交给它自己跑的团队，这条把「循环内部要有硬上限」从工程洁癖变成了有价签的要求。
AI 智能体可观测性+1
查看相关信号

SGLang Releases · 2026-08-08

借助

SGLang v0.5.17：Kimi K3 首日可服务，以及一个认识会话的前缀缓存

582 个 PR、194 位贡献者的一次大版本。Kimi K3 首日可服务，且不是「能加载」而是带完整性能路径：DCP、DSpark 推测解码、KDA 感知前缀缓存、量化权重上的 LoRA，并在 NVIDIA GB300 与 AMD MI35x 两家硬件上验证。真正的新东西是一个认识会话的统一前缀缓存——淘汰不再只按缓存策略，而是知道哪些前缀仍被活跃会话引用。

为什么重要旗舰模型的「发布日」和「你能用上它的日子」正在合并。Kimi K3 在这一版里是首日可服务，而且带的是完整性能路径与两家硬件的验证，不是勉强能加载。对自托管的团队来说，这把换代决策的时间窗口从「等几个月看引擎跟不跟」压缩到了「看这一版的发布说明」。另有一条更安静的变化：前缀缓存开始认识会话，推理层第一次长出了智能体形状的概念。
推理与部署前沿模型+1
查看相关信号

Hugging Face Blog · 2026-07-28

借助

LFM2.5-Encoders：能在 CPU 上跑长文档的小编码器，长上下文比 ModernBERT 快 3.7 倍

Liquid AI 发布两个开源编码器 LFM2.5-Encoder-230M 与 350M：在 GLUE、SuperGLUE 和多语任务上追平更大的编码器，支持 8,192 token 上下文，长上下文场景下在 CPU 上比 ModernBERT-base 快约 3.7 倍。它针对的是被生成式模型遮住的那一半生产负载——意图路由、策略检查、PII 识别、文本分类，这些任务整天在跑、大多跑在 CPU 上，且输入越来越长。

为什么重要生产系统里整天在跑的那一半负载——意图路由、安全过滤、分类、抽取——输出的是标签而不是一段话，用生成式模型做这件事一直是笔糊涂账。这次的增量是把「输入很长」从必须上 GPU 的条件里拿掉：8,192 token 上下文，CPU 上比 ModernBERT-base 快约 3.7 倍。
推理与部署端侧 AI+1
查看相关信号

Ollama Releases · 2026-07-25

必备

Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化

Ollama v0.32.4 通过 MLX 引擎为 Apple GPU 增加 Laguna 模型支持，让推测解码的草稿模型输出头按指定精度量化，并修复了 Qwen3 MoE 在专家量化精度不一致时的解码问题，打包的 gate/up 投影在 M5 Max 上提速约 4–9%。注意：本版的 MLX Laguna 路径存在会降低 NVFP4 模型输出质量的缺陷，已在两天后的 v0.32.5 修复——要在 Apple GPU 上跑 Laguna 请直接用 v0.32.5。

为什么重要端侧跑 MoE 模型的瓶颈已经从「能不能加载」转移到「量化路径干不干净」。这一版把草稿模型输出头量化和专家精度不一致两个坑同时补上，是本地推理走向可用的具体一步。
端侧 AI推理与部署
查看相关信号

vLLM Releases · 2026-07-25

必备

vLLM v0.26.0：为 Inkling 万亿参数模型补齐推理全栈

vLLM 发布 v0.26.0，来自 212 位贡献者的 411 个提交。最重要的一条是为 Thinking Machines 开源的 Inkling 模型家族提供完整支持栈：基础建模、分段 CUDA Graph、Hopper 架构的 FA4 相对注意力，以及 MTP=1 的推测解码。

为什么重要开源万亿参数模型从「放出权重」到「主流推理引擎上可用」的间隔被压到了十天量级，而且是基础建模、图捕获、注意力核、推测解码一次配齐。这改变了自建推理团队评估新模型的排期假设。
推理与部署前沿模型
查看相关信号

Ollama Releases · 2026-07-14

借助

Ollama v0.32.0：本地运行时转型智能体工作台

Ollama 发布 v0.32.0：直接运行 ollama 命令现在会启动一个交互式智能体，可以聊天、写代码、联网搜索并委派实际工作。本地模型运行时正式向智能体入口转型。

为什么重要装机量巨大的本地运行时把默认入口从「跑模型」换成「用智能体」，意味着智能体交互正在成为 AI 工具的默认形态，而不再是附加功能；本地/云混合的默认配置也预示端侧与云端的分工进入新阶段。
AI 智能体端侧 AI+1
查看相关信号

vLLM Releases · 2026-07-11

借助

vLLM v0.25.0：Model Runner V2 成为默认执行引擎的大版本

vLLM 发布 v0.25.0：558 个提交、232 位贡献者参与的大版本。Model Runner V2 正式成为所有稠密模型的默认执行引擎，在上一版本量化模型支持的基础上完成了推理执行栈的代际切换。

为什么重要推理引擎的默认执行栈切换会直接改变吞吐、延迟和 GPU 成本曲线。vLLM 是目前自建大模型服务最主流的开源选择，它的大版本升级几乎影响所有自托管推理团队。
推理与部署
查看相关信号

Hugging Face Blog · 2026-07-08

借助

vLLM 的 Transformers 后端达到原生速度：450+ 架构免移植高性能推理

Hugging Face 与 vLLM 宣布：vLLM 中的 Transformers 建模后端在 Qwen3 4B/32B 稠密模型和 235B FP8 MoE 上全面追平甚至反超 vLLM 手写原生实现。模型作者只需一个 --model-impl transformers 开关，就能让 Transformers 实现直接获得 vLLM 级推理性能，无需移植。

为什么重要它消除了「参考实现」与「高性能实现」之间的移植成本：新模型在 Transformers 里实现一次，就能立即以 vLLM 级性能上线。这会显著缩短新架构从发布到可生产部署的时间差。
推理与部署工作流
查看相关信号

背景概念

与这项技能搭配的知识

机器学习 · 进阶

必备

模型选型与约束匹配

选模型不是挑最强的那个，而是先找出哪个约束最先咬人——延迟、隐私、成本，还是任务本身根本不需要那么大的模型。

附注显存与并发估算以模型规模直觉为前提。
端侧 AI产品策略
查看概念

软件架构 · 进阶

必备

交互系统中的延迟权衡

交互系统里决定体验的不是平均延迟这一个数，而是用户在等待期间知道什么——语音与端侧 AI 让这条老经验重新变得要紧。

附注延迟目标是容量估算公式的直接输入。
端侧 AI多模态
查看概念

机器学习 · 进阶

印证

推测解码与推理加速技术

自回归生成的逐 token 串行是大模型推理延迟的根源；推测解码、连续批处理与 KV 缓存管理从算法与系统两层，把同样的硬件榨出数倍吞吐。

附注容量规划的吞吐与延迟估算以这层原理为基础。
推理与部署前沿模型
查看概念