Machine learning
模型量化与数值精度
把权重和激活从高精度压到低比特，是让大模型跑进有限显存的主要手段；代价是精度损失，而损失落在哪一层决定了它是无感还是灾难。
This concept is written in Chinese.
On this page5 sections
What this concept means
#量化的基本动作很简单：用更少的比特存同一个数。真正难的是决定哪些部分可以被压、压到多少。
三件事值得先弄清楚：
1. 不是所有层都一样敏感。 注意力的输出投影、归一化参数、路由器（router）和输出头（output head）对精度远比中间的前馈层敏感。实践中常见的做法是把这些留在较高精度，其余压到 4-bit 或 8-bit——所以你会在发布说明里反复看到「保留输出头精度」「router 保持原精度」这类描述。
2. 混合精度会带来一致性问题。 MoE 架构允许每个专家单独存储，于是不同专家用不同量化类型是完全可能的。这在服务器端是省显存的常规手段，但一旦解码路径没有处理好精度不一致，表现就是输出异常或性能塌陷，而不是一个干净的报错。
3. 量化会和其他优化互相影响。 推测解码里草稿模型的开销直接决定净收益，如果草稿的输出头没有按请求精度量化，省下来的时间会被重新吃掉。图捕获、注意力核的选择也都和数据类型绑定。
判断一条量化相关的信号是否重要，可以问三个问题：它动的是哪一层？精度损失有没有被量化评估（而不是只给个速度数字）？它和现有的推理路径（推测解码、图捕获、并行切分）是否兼容？
Network
Where it sits in the network
#The signals and skills next to this concept. Follow any link to keep exploring.
- Colibrì：25GB 内存跑 744B 模型，权重按需从硬盘读
- Pinterest 数百亿向量检索：量化与 SSD 的取舍明细
- v0.30.0
- FreeToken：消费级机器不是缩水的服务器，是异构资源
- Muse Glimmer 开源：30B 压进消费级显卡，报错不停下
- Qwen 3.8 27B is excellent, but it defaults to wildly overthinking things
- Qwen3.8-27B 开源：消费级显卡跑得动，尺子却是自己命名的
- Meta 重回开放权重：一封长文、一个独立董事会，和一组本地部署的数字
- Meta is back with Muse Glimmer: local, agentic, multimodal, and open source
- SGLang v0.5.17
- Ollama v0.32.4
- vLLM v0.26.0
- Ollama v0.32.0
Matched automatically
Signals that mention it
#Matched from the signals' text, not picked by an editor; those listed in the section above are not repeated.
MPS in PyTorch 2.15
…配套的 F.scaled_mm 支持按张量和按行两种缩放方式，可直接在 GPU 上做量化矩阵乘。DeepSeek-V4 的周期性盲点：信息换个位置，检索准确率差 40 个百分点
研究者从 DeepSeek-V4 官方推理代码里截取一段 FP8 量化函数，让 DeepSeek-V4-Flash-Base 补全最后一个…EmbeddingGemma 2: an open, lightweight multimodal embedding model
在 Pixel 11 Pro 上量化运行，只用文字时约占 191 MB 内存，多模态约 567 MB，没有给出延迟…DeepSeek 开源昇腾版 DeepGEMM 等组件：接口与 NVIDIA 版相同
TileKernels：常用算子库，包括 MoE 路由、量化、位置编码Same Cluster, 33 Points More Utilization: What Changed Was the Order
四类负载争抢这张网格：训练、实时推理、批量推理、量化。它们分成两种互不相容的形状：菲尔兹奖得主：模型强在找到那个对象，弱在知道何时放弃
…但没有人会把前者叫反例，也没有人会把后者叫定理。区别不在量词，而在哪一个被量化的变量才是那道题真正的难处——三素数定理的难处是凑出那三个素数…
Show 4 more
State of Open Models: Summer 2026 Observations
…团队想用前沿闭源模型分析捕获到的攻击代码，被安全护栏拒绝了；最终是在自己基础设施上跑的量化开源模型 GLM-5.2 完成的分析。vLLM v0.27.0
…DeepGEMM 支持、compressed-tensors 量化检查点、DSpark AR 融合，以及一个把共享专家分片而不是复制的选项。Welcome Inkling by Thinking Machines
发布形态同样面向实际部署：BF16 权重需要约 2TB 显存，NVFP4 量化版本压到约 600GB…vLLM v0.25.0
…232 位贡献者（其中 64 位是新贡献者），延续了上一个版本（v0.24.0）打下的量化模型支持基础。