TPU 巨核：同样是 16 块芯片，Kimi K3 快 57%
vLLM 原班人马创办的 Inferact 开源了一组 TPU 推理内核：把 Kimi K3 的 92 层计算写进同一个程序，趁当前层还在计算时预取下一层的权重。16 块 TPU v7 配合推测解码每秒输出 709 个 token，基线是 vLLM 在 16 块 GB200 上的 452 个。两种芯片的内存带宽其实是 GB200 略高，差距来自软件怎样用满它。这是面向单个用户、小批量解码的成绩。
Marked important, but published more than 30 days ago, so it moved down to this band.
On this page12 sections
This signal comes from a Chinese-language source and is written in Chinese.
Record
The signal
#数字
- Kimi K3，推测解码、每步平均接受 6 个 token：16 块 TPU v7 每秒 709 个，16 块 GB200 每秒 452 个，1.57 倍
- Qwen3.8-27B：4 块 TPU v7 每秒 1,515 个，是 4 块 GB200 的 2.18 倍
- 不开推测解码：批量 1 到 8 之间，解码吞吐约为基线的 1.4 到 2 倍
基线是 vLLM 已发布的 Kimi K3 配置。正确性用贪心解码验证：GPQA-Diamond 0.944，GSM8K 0.972，复现脚本随仓库提供。
差距从哪里来
只看规格表，两种芯片在同一量级，内存带宽还是 GB200 更高：每秒 8,000GB 对 7,380GB。
解码的瓶颈是搬数据。每生成一个 token，权重都要从高带宽内存搬进芯片上的高速存储算一遍。通常一次解码会依次派发几百个内核，每个内核只在加载阶段大量读取，其余阶段带宽空着，这些空隙累加起来就是损失。GPU 上已有缩短空隙的办法，但内核之间的边界还在。
巨核把整个解码步骤写进一个程序，边界就没有了：一次权重加载不再绑定在使用它的那个内核上，只要片上存储放得下就可以尽早发出。第 N 层还在算专家的时候，第 N+1 层的注意力投影权重已经在路上。
TPU 的硬件形态让这件事好做：每个计算核心有 64MiB 片上向量内存，数据在里面待多久完全由程序决定。GPU 对应的存储整块约 38MiB，但分散在 152 个单元里，每个只有 256KB，留不出提前摆放权重的空间。
一个没料到的好处
编译变快了。用自动工具链编译一个由成百上千个算子组成的大模型经常要 30 分钟以上，整个巨核从头编译不到 90 秒。作者的解释是：次序和重叠由写内核的人手工定好，只付一次，不必每次编译重新搜索。
读的时候要带着的限定
- 这是为 Kimi K3 的结构和一种 2×2×4 的芯片拓扑手写的，换模型或换拓扑都要重新适配
- 「每秒 709 个」是交付给单个用户的速度。并发升高后瓶颈会移到向量运算和跨设备通信上，作者把它列在后续工作里
- 测试只验证数值行为；仓库自己注明，在 CPU 上跑的测试不覆盖 TPU 特有的部分
- 基准由作者自己运行；据量子位，这项工作来自 Inferact 与谷歌云的联合工程合作
为什么放在这里
本站记过 vLLM 一个版本之内为 Kimi K3 落齐推理栈，也记过 SGLang 首日支持。那两条说的是通用引擎怎样跟上一个新模型；这一条是同一批人反过来说明，针对一种硬件和一个模型手写，还能再拿到多少。
本条由量子位的报道带入，数字以 Inferact 博客与代码仓库为准。
Why now
Why it matters
#推理成本的讨论通常停在「买哪种芯片」。这份结果说明，同一块芯片上软件怎样安排数据搬运，就能拉开一倍的差距——而且规格表上带宽略低的那一方跑得更快。
Background
Technical context
#内核是在加速器上执行的一段程序，通常对应模型里的一个算子。推测解码让一个小模型先猜一串 token，再由大模型一次验证，猜对的直接采纳。接受长度是每一步平均被采纳的 token 数，它直接决定推测解码能快多少。
Audience
Who should care
#Next
Learning path
#- 先读《推测解码与推理加速技术》：为什么接受长度决定了加速上限
- 读本站 vLLM v0.27.0 与 SGLang v0.5.17 两条：通用引擎怎样支持 Kimi K3
- 读 Inferact 博客里关于片上内存的一节：两种芯片差在哪里
- 用你自己的并发和批量去对照：你的负载是小批量解码，还是高并发？
Network
Where it sits in the network
#How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.
Further thought
Follow-up questions
#- 你的负载是面向单个用户的小批量解码，还是高并发？
- 换一个模型结构，这套内核要重写多少？
- 这组对比由第三方复现之后，差距还剩多少？
Publication record
Featured in
#The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.
技术简报 - 2026-09-28
Worth trackingWeekly review · Sep 21 – Sep 27
Worth tracking
Sources