主题聚合
量化与推测解码
量化、推测解码等让模型更省显存、出字更快的技术。
跟进此话题
站内关注 · 站外订阅话题图谱
16 个节点 · 68 条连接- 本话题的内容
- 话题外的邻居
- 渊源 · 续作 · 延伸
- 必备 · 借助
- 释义 · 印证
已发布技术信号
13 条PyTorch 2.15：MPS 支持 FP8，MoE 解码快 6 倍
PyTorch 2.15 为 MPS 后端加入 float8_e4m3fn 张量与 F.scaled_mm，并让 MoE 解码比 2.14 快 5–6.5 倍：M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 提升到 61.3 tokens/s。此外词表 softmax 约快 8 倍，Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB。
记忆张量开源 MemT 1.0：把记忆原生写进 Transformer
记忆张量开源记忆原生模型 MemT 1.0，含 36B 总参数、激活 3B 的 Nano 与 288B 总参数、激活 17B 的 Flash 两个型号，在 Transformer 模块中加入与注意力并行的记忆分支，把经验编码为可读写的内部状态。论文称这是记忆原生模型首次完成近 300B 参数规模的工程验证。
PyTorch 原生支持 Trainium：TorchNeuron 公测
AWS Trainium 通过 TorchNeuron 插件成为 PyTorch 的原生设备：eager 模式、torch.compile 与 FSDP、张量并行都用 PyTorch 自己的接口，10 月 20 日起公测。Transformers、Diffusers、Kernels 原生支持，前 100 个常用文本生成架构里 89% 开箱即用（Optimum Neuron 时是 46%），Hugging Face 建议不再经过 Optimum Neuron。
vLLM v0.32.0：结构化决策接口，KV 缓存精度再降
vLLM v0.32.0 包含 814 个 commit、363 位贡献者（其中 121 位首次参与）。新版本加入 POST /v1/systemone 结构化决策接口和通用 hf 工具与推理解析器，并将 NVFP4、FP8 等低精度 KV 缓存扩到更多硬件，GLM-5.x 在 SM100 上默认使用 FP8 KV 缓存。
Reflection 放出 Beam：501B MoE、1M 上下文
美国新实验室 Reflection 发布首个模型 Beam，采用 MoE 架构，总参数 501B、每 token 激活 23B，支持 1M token 上下文，以 Apache 2.0 许可开放权重，主打编码与智能体场景。BF16 checkpoint 约 1 TB，另有 FP8 与面向 Blackwell 的 NVFP4 版本，transformers、SGLang、vLLM 首日支持。
Meta 开源 Muse Spark Open：816B 多模态 MoE
Meta 发布开放权重模型 Muse Spark Open，总参数约 8160 亿、每 token 激活约 420 亿，采用 256 选 8 的 MoE 路由，支持文本、图像、音频、视频输入与最长 100 万 token 上下文，提供 BF16 与面向 NVIDIA Blackwell 的 NVFP4 两种 checkpoint，面向智能体编码任务训练。
TPU 巨核：同样是 16 块芯片，Kimi K3 快 57%
vLLM 原班人马创办的 Inferact 开源了一组 TPU 推理内核：把 Kimi K3 的 92 层计算写进同一个程序，趁当前层还在计算时预取下一层的权重。16 块 TPU v7 配合推测解码每秒输出 709 个 token，基线是 vLLM 在 16 块 GB200 上的 452 个。两种芯片的内存带宽其实是 GB200 略高，差距来自软件怎样用满它。这是面向单个用户、小批量解码的成绩。
LFM2.5-VL-DSpark：解码快三倍，整体受图像编码拖累
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布了一个实验性的推测解码草稿模型：多占 8.9% 的参数，解码在设备端最高快到 3.13 倍，输出与原模型完全一致。但端到端的提速只有 1.30 到 2.62 倍，原文自己解释了原因——推测解码只加速解码，图像编码和预填充不受影响，而这两段在端侧恰恰占了大头。
Pinterest 数百亿向量检索：量化与 SSD 的取舍明细
Pinterest 的搜索平台 Manas 在 80 个集群上服务数百亿嵌入向量。在 1 亿条向量上的离线基准里，标量量化把 HNSW 索引从 121GB 压到 50GB、召回几乎不掉；乘积量化压到 32GB，召回从 93.7% 掉到 77.3%。上线后服务成本降低 20% 到 30%。搬到 SSD 时，SPANN 加乘积量化的吞吐是 DiskANN 的 3 倍、延迟三分之一，召回低 5%。选哪种，取决于你的召回下限，不取决于压缩率。
Muse Glimmer 开源：30B 压进消费级显卡，报错不停下
Meta 发布 Muse Glimmer：300 亿参数、Apache 2.0 开放权重，专为常驻本地的智能体工作流设计。4 位动态量化把 55GB 以上的显存需求压到 17 至 20GB，配合 DFlash 推测解码在 M5 Max 与 RTX 5090 上把吞吐提到最多 3.1 倍。真正值得注意的不是尺寸，而是它把「工具调用失败之后怎么办」写进了训练目标：API 或终端命令报错时，模型诊断故障并另找路径，而不是终止执行。
Meta 重回开放权重：一封长文、一个独立董事会，和一组本地部署的数字
Muse Glimmer 以 Apache 2.0 开放权重的同时，Meta 宣布重回开放路线：扎克伯格发表长文反对能力集中，公司设立独立董事会逐项审核每次模型发布，并披露了让本地部署成立的量化与推测解码数字。Muse Spark 1.2 的权重据称随后开放。
SGLang v0.5.17：Kimi K3 首日可服务，以及一个认识会话的前缀缓存
582 个 PR、194 位贡献者的一次大版本。Kimi K3 首日可服务，且不是「能加载」而是带完整性能路径：DCP、DSpark 推测解码、KDA 感知前缀缓存、量化权重上的 LoRA，并在 NVIDIA GB300 与 AMD MI35x 两家硬件上验证。真正的新东西是一个认识会话的统一前缀缓存——淘汰不再只按缓存策略，而是知道哪些前缀仍被活跃会话引用。
Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化
Ollama v0.32.4 通过 MLX 引擎为 Apple GPU 增加 Laguna 模型支持，让推测解码的草稿模型输出头按指定精度量化，并修复了 Qwen3 MoE 在专家量化精度不一致时的解码问题，打包的 gate/up 投影在 M5 Max 上提速约 4–9%。注意：本版的 MLX Laguna 路径存在会降低 NVFP4 模型输出质量的缺陷，已在两天后的 v0.32.5 修复——要在 Apple GPU 上跑 Laguna 请直接用 v0.32.5。