Evaluation & analysis
推理服务容量规划
估算并发、显存与成本三者的关系，判断一次推理栈升级或模型更换对自托管服务意味着什么。
This skill is written in Chinese.
On this page5 sections
Reading order
Read these first
#Knowledge · Software architecture · Intermediate
Prerequisite交互系统中的延迟权衡
交互系统里决定体验的不是平均延迟这一个数，而是用户在等待期间知道什么——语音与端侧 AI 让这条老经验重新变得要紧。
Knowledge · Machine learning · Intermediate
Prerequisite模型选型与约束匹配
选模型不是挑最强的那个，而是先找出哪个约束最先咬人——延迟、隐私、成本，还是任务本身根本不需要那么大的模型。
What this skill helps you do
#推理引擎的大版本升级（如 vLLM 的 Model Runner V2 代际切换）会直接改变吞吐、延迟和 GPU 成本曲线，容量规划就是把这些变化翻译成可决策的数字。核心方法：先定延迟预算（P95 首 token 时间和整体响应时间），再由目标并发反推批量大小、KV 缓存占用和显存配置；量化方案与模型尺寸的选择应服从这个预算，而不是反过来。每次推理栈升级前，用一组固定的代表性请求做基准回放，比较升级前后的吞吐/延迟/成本三条曲线，而不是只看版本说明里的峰值数字。对本地与云混合部署（如 Ollama 的本地/云双轨），还要把两侧的容量分开核算：本地受限于单机显存，云端受限于配额与预算。这项技能让「要不要跟进这次升级」从直觉判断变成有数字支撑的决策。
Network
Where it sits in the network
#The signals and background concepts next to this skill. Follow any link to keep exploring.
- TPU 巨核：同样是 16 块芯片，Kimi K3 快 57%
- Colibrì：25GB 内存跑 744B 模型，权重按需从硬盘读
- Pinterest 数百亿向量检索：量化与 SSD 的取舍明细
- v0.30.0
- Claude Opus 5.5, GPT-6 Sol, GPT-6 Luna, and a new price war
- Your Agent Aced the Task. Will It Do It Again?
- AlphaGenome Atlas: A predictive map of every possible DNA letter change in the human genome
- FreeToken：消费级机器不是缩水的服务器，是异构资源
- Same Cluster, 33 Points More Utilization: What Changed Was the Order
- Cloudflare Computer：不给智能体一个容器，给它一台机器
- vLLM v0.27.0
- 一次 180 万美元的智能体账单：超预算 860%，五个月后才被发现
- SGLang v0.5.17
- LFM2.5-Encoders for Fast Long-Context Inference on CPU
- Ollama v0.32.4
- vLLM v0.26.0
- Ollama v0.32.0
- vLLM v0.25.0
- Native-speed vLLM transformers modeling backend
Practise on published signals
Signals this skill helps you evaluate
#量子位 · 2026-09-26
SupportsTPU 巨核：同样是 16 块芯片，Kimi K3 快 57%
vLLM 原班人马创办的 Inferact 开源了一组 TPU 推理内核：把 Kimi K3 的 92 层计算写进同一个程序，趁当前层还在计算时预取下一层的权重。16 块 TPU v7 配合推测解码每秒输出 709 个 token，基线是 vLLM 在 16 块 GB200 上的 452 个。两种芯片的内存带宽其实是 GB200 略高，差距来自软件怎样用满它。这是面向单个用户、小批量解码的成绩。
量子位 · 2026-09-26
SupportsColibrì：25GB 内存跑 744B 模型，权重按需从硬盘读
开源推理引擎 Colibrì 把显存、内存和固态硬盘当成同一套存储层级：744B 的 GLM-5.2 每个 token 只激活约 40B 参数，于是常驻内存的只有约 9.9GB 的稠密部分，19,456 个路由专家留在硬盘上按需读取。它不保证速度，只保证不悄悄改动模型：25GB 的开发机冷缓存时每秒 0.05 到 0.1 个 token，128GB 的纯 CPU 台式机约 1.8 个。
InfoQ 中文 · 2026-09-23
SupportsPinterest 数百亿向量检索：量化与 SSD 的取舍明细
Pinterest 的搜索平台 Manas 在 80 个集群上服务数百亿嵌入向量。在 1 亿条向量上的离线基准里，标量量化把 HNSW 索引从 121GB 压到 50GB、召回几乎不掉；乘积量化压到 32GB，召回从 93.7% 掉到 77.3%。上线后服务成本降低 20% 到 30%。搬到 SSD 时，SPANN 加乘积量化的吞吐是 DiskANN 的 3 倍、延迟三分之一，召回低 5%。选哪种，取决于你的召回下限，不取决于压缩率。
vLLM Releases · 2026-09-22
Supportsv0.30.0
v0.30.0 Highlights This release features 762 commits from 315 contributors (104 new)! New models : DeepSeek-V4.1-Flash ( #56214 , #56228 , #56208 ) with the whole KV stored in MXFP8 through the FlashMLA V4.1 record on SM100 ( #56893 ), DeepGEMM Mega-mHC ( #56…
Simon Willison Blog · 2026-09-22
SupportsClaude Opus 5.5, GPT-6 Sol, GPT-6 Luna, and a new price war
Yesterday was Grok 4.7 (pelicans) and MiMo v2.6 Flash/Pro (…
Hugging Face Blog · 2026-09-15
ExtendsYour Agent Aced the Task. Will It Do It Again?
IBM Research measures the consistency gap between Mean@k and Pass^k for LLM agents and halves it with guidelines distilled from flip-prone decision points.
Google DeepMind Blog · 2026-09-08
PrerequisiteAlphaGenome Atlas: A predictive map of every possible DNA letter change in the human genome
A platform containing predictions for the effects of 9 billion single-nucleotide variants — every single-letter change possible — in the human genome.
InfoQ 中文 · 2026-09-05
ExtendsFreeToken：消费级机器不是缩水的服务器，是异构资源
伯克利与 MIT 开源 FreeToken，一个面向消费级硬件的 MoE 推理引擎，共同作者包括 Databricks 联合创始人 Matei Zaharia 与 Ion Stoica，以及 Song Han、Kurt Keutzer。它的前提是换一个看法：个人电脑不是资源受限的数据中心节点，而是可弹性调度的异构资源——缓存未命中时不让 GPU 停下来等，而是按实时互连吞吐在 CPU 与 GPU 之间分配 token 计算。论文报告在 8GB 显存的 RTX 4060 笔记本上跑 Qwen3.6-35B 约每秒 39 个 token，同批 MoE 模型上解码快 3 到 4 倍、预填充快 6 到 30 倍。而社区正在争论的，恰好是这个基线是不是经过手工调优。
Hugging Face Blog · 2026-08-17
ExtendsSame Cluster, 33 Points More Utilization: What Changed Was the Order
A constraint-aware GPU allocator benchmarked against FIFO across seven scenarios: utilization up to 33 percentage points higher, priority-weighted output up in every one.
InfoQ 中文 · 2026-08-15
UsesCloudflare Computer：不给智能体一个容器，给它一台机器
本周第三个关于「智能体运行时归谁」的答案，而这一个换了单位：它认为容器根本不该是那个单位。框架跑在 isolate 里，容器按需连上来当作一次工具调用，两边共享同一套基于 SQLite 的文件系统。目标写得很直白——让不到一成的工作才需要容器。仍是早期预览版。
vLLM Releases · 2026-08-10
PrerequisitevLLM v0.27.0
vLLM v0.27.0 ships 561 commits from 242 contributors, landing full-stack Kimi K3 support in a single release, upgrading to PyTorch 2.13, and extending Model Runner V2 to non-generative workloads.
量子位 · 2026-08-09
Supports一次 180 万美元的智能体账单：超预算 860%，五个月后才被发现
亚马逊用 Claude Sonnet 给自家网站填充作者信息，花掉 180 万美元、超预算 860%、五个月后才被发现，而且最终没有部署成功。同期 Meta 员工 30 天消耗 73.7 万亿 token，Uber 四个月烧完全年编码预算。一项调查显示只有 26% 的企业对自身 AI 成本具备全面可见性。这不是一条价格新闻——它是「智能体安静地做错事」这个失败模式的又一种形态：不报错，只出账单。
SGLang Releases · 2026-08-08
UsesSGLang v0.5.17
SGLang v0.5.17: 582 PRs from 194 contributors, with day-0 support for Kimi K3 and MiniMax-H3.
Hugging Face Blog · 2026-07-28
UsesLFM2.5-Encoders for Fast Long-Context Inference on CPU
Two new encoder models, LFM2.5-Encoder-230M and 350M: they match larger encoders on GLUE, SuperGLUE and multilingual tasks, handle 8,192-token context, and run about 3.7x faster than ModernBERT-base on CPU at long context.
Ollama Releases · 2026-07-25
PrerequisiteOllama v0.32.4
Ollama v0.32.4 adds Laguna support on Apple GPUs via the MLX engine, quantizes speculative-decoding draft output heads at the requested type, and fixes Qwen3 MoE decoding for differently-quantized experts.
vLLM Releases · 2026-07-25
PrerequisitevLLM v0.26.0
vLLM v0.26.0 ships 411 commits from 212 contributors, headlined by a full support stack for the new Inkling model family.
Ollama Releases · 2026-07-14
UsesOllama v0.32.0
Ollama v0.32.0 turns the bare ollama command into an interactive agent for chatting, coding, web search, and delegating work — the local runtime is repositioning itself as an agent workbench entry point.
vLLM Releases · 2026-07-11
UsesvLLM v0.25.0
vLLM v0.25.0 ships 558 commits from 232 contributors. Model Runner V2 becomes the default for all dense models, building on the quantized-model support introduced in the previous release.
Hugging Face Blog · 2026-07-08
UsesNative-speed vLLM transformers modeling backend
The transformers modeling backend in vLLM now meets or beats vLLM's hand-written native implementations across dense and MoE Qwen3 models. Model authors get ultra-fast vLLM inference from their transformers implementation with a single --model-impl transformers flag.
Background concepts
Knowledge that pairs with this skill
#Machine learning · Intermediate
Supports推测解码与推理加速技术
自回归生成的逐 token 串行是大模型推理延迟的根源；推测解码、连续批处理与 KV 缓存管理从算法与系统两层，把同样的硬件榨出数倍吞吐。