推测解码与推理加速技术

自回归模型每生成一个 token 都要完整走一遍前向计算，而解码阶段的瓶颈通常在显存带宽而非算力——权重反复搬运，算术单元大量空转。推测解码（speculative decoding）用一个小模型快速草拟若干候选 token，再让大模型一次前向并行验证，接受则一步产出多个 token，拒绝则回退重来；数学上可以保证输出分布与大模型逐 token 解码完全一致，加速是「免费」的。

算法之外还有系统层的三板斧：连续批处理（continuous batching）让新请求随时插入正在运行的批次，而不是等整批结束；分页式 KV 缓存（vLLM 的 PagedAttention 一脉）把注意力缓存按块管理，消除显存碎片；算子融合与量化则进一步压低单步开销。vLLM v0.25.0 把 Model Runner V2 设为默认执行引擎、其 Transformers 后端达到原生速度，都说明这套优化正在从「专用推理引擎的独门绝技」下沉为通用基础设施；Ollama 则把同类技术带进本地设备，在消费级硬件上兑现可用的交互延迟。

为什么值得懂：GPT-5.6 把「单位算力智能密度」当作主打指标，标志着前沿竞争已从单纯堆参数转向推理效率。读懂这一层，才能理解推理引擎版本说明里的吞吐数字从哪来、容量规划里的延迟预算怎么定、以及「更大的模型」与「更快的模型」之间的真实取舍。