Topic
Quantisation & speculative decoding
Quantisation, speculative decoding and other ways to make a model use less memory and generate faster.
Follow this topic
On this site · ElsewhereTopic graph
16 nodes · 68 links- Entries in this topic
- Neighbours outside the topic
- Builds on · Successor · Extends
- Prerequisite · Uses
- Explains · Supports
Skills and knowledge entries are written in Chinese, as are signals from Chinese sources.
Published signals
13 signalsMPS in PyTorch 2.15
MPS in PyTorch 2.15
记忆张量开源 MemT 1.0：把记忆原生写进 Transformer
记忆张量开源记忆原生模型 MemT 1.0，含 36B 总参数、激活 3B 的 Nano 与 288B 总参数、激活 17B 的 Flash 两个型号，在 Transformer 模块中加入与注意力并行的记忆分支，把经验编码为可读写的内部状态。论文称这是记忆原生模型首次完成近 300B 参数规模的工程验证。
TorchNeuron: running HF models on AWS Trainium is easier than ever
TorchNeuron: running HF models on AWS Trainium is easier than ever
v0.32.0
v0.32.0 Highlights This release features 814 commits from 363 contributors (121 new)! Structured decisions and generic parsers: the new POST /v1/systemone endpoint answers choice, noul and score questions over a structured state (#59299), is served by default…
Welcome Beam: a 501B open model you can own, customize, and scale
Welcome Beam: a 501B open model you can own, customize, and scale
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta
TPU 巨核：同样是 16 块芯片，Kimi K3 快 57%
vLLM 原班人马创办的 Inferact 开源了一组 TPU 推理内核：把 Kimi K3 的 92 层计算写进同一个程序，趁当前层还在计算时预取下一层的权重。16 块 TPU v7 配合推测解码每秒输出 709 个 token，基线是 vLLM 在 16 块 GB200 上的 452 个。两种芯片的内存带宽其实是 GB200 略高，差距来自软件怎样用满它。这是面向单个用户、小批量解码的成绩。
Accelerating vision-language models with LFM2.5-VL-DSpark
Accelerating vision-language models with LFM2.5-VL-DSpark
Pinterest 数百亿向量检索：量化与 SSD 的取舍明细
Pinterest 的搜索平台 Manas 在 80 个集群上服务数百亿嵌入向量。在 1 亿条向量上的离线基准里，标量量化把 HNSW 索引从 121GB 压到 50GB、召回几乎不掉；乘积量化压到 32GB，召回从 93.7% 掉到 77.3%。上线后服务成本降低 20% 到 30%。搬到 SSD 时，SPANN 加乘积量化的吞吐是 DiskANN 的 3 倍、延迟三分之一，召回低 5%。选哪种，取决于你的召回下限，不取决于压缩率。
Muse Glimmer 开源：30B 压进消费级显卡，报错不停下
Meta 发布 Muse Glimmer：300 亿参数、Apache 2.0 开放权重，专为常驻本地的智能体工作流设计。4 位动态量化把 55GB 以上的显存需求压到 17 至 20GB，配合 DFlash 推测解码在 M5 Max 与 RTX 5090 上把吞吐提到最多 3.1 倍。真正值得注意的不是尺寸，而是它把「工具调用失败之后怎么办」写进了训练目标：API 或终端命令报错时，模型诊断故障并另找路径，而不是终止执行。
Meta 重回开放权重：一封长文、一个独立董事会，和一组本地部署的数字
Muse Glimmer 以 Apache 2.0 开放权重的同时，Meta 宣布重回开放路线：扎克伯格发表长文反对能力集中，公司设立独立董事会逐项审核每次模型发布，并披露了让本地部署成立的量化与推测解码数字。Muse Spark 1.2 的权重据称随后开放。
SGLang v0.5.17
SGLang v0.5.17: 582 PRs from 194 contributors, with day-0 support for Kimi K3 and MiniMax-H3.
Ollama v0.32.4
Ollama v0.32.4 adds Laguna support on Apple GPUs via the MLX engine, quantizes speculative-decoding draft output heads at the requested type, and fixes Qwen3 MoE decoding for differently-quantized experts.
Related skills
1 skillBackground knowledge
3 entriesKV 缓存与长上下文推理
生成每个新 token 都要回看前面所有 token；KV 缓存把这份回看要用的中间结果存下来，于是上下文越长，显存和带宽越紧——读懂推理引擎更新和长上下文定价的前提。