Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化

更正（2026-07-28）

下面第 1 条改动——MLX 引擎支持 Laguna——在本版中是带缺陷发布的：MLX 的 Metal 后端存在一个 bug，会让 NVFP4 精度的模型输出质量下降，其中 Laguna 受影响最明显。官方在两天后的 v0.32.5 中修复了它，那一版除此之外没有任何其他改动。

所以：要在 Apple GPU 上跑 Laguna，请直接用 v0.32.5，不要停在本版。 本站没有把 v0.32.5 单独收录为一条技术信号——它是一次单点修复，不构成新的技术信号；但它修的正是本条信号的头条功能，所以更正写在这里。

三条改动

v0.32.4 是一次内容不多但都落在同一条主线上的版本：

1. MLX 引擎支持 Laguna，把这一模型家族带到 Apple GPU 上运行；
2. 推测解码的草稿模型输出头按请求精度量化——此前草稿模型的输出头可能保留在更高精度上，浪费了推测解码本该带来的显存与带宽收益；
3. 修复 Qwen3 MoE 在专家量化精度不一致时的解码，同时把打包的 gate/up 投影做了加速，官方给出的数据是在 M5 Max 上约 4–9%。

主线是什么

三条改动指向同一件事：端侧运行 MoE 模型的量化路径正在被逐条打磨。MoE 的每个专家可以用不同精度存储，这在服务器端是节省显存的常规手段，但到了统一内存的 Apple 芯片上，量化不一致会直接反映为解码错误或性能塌陷。草稿模型输出头的量化同理——推测解码本身就是拿精度换吞吐，如果草稿这一侧没量化干净，收益会被吃掉一大块。

与前一版本的关系

本站已收录 Ollama v0.32.0「本地运行时转型智能体工作台」这一更大的方向性信号。v0.32.4 不改变方向，但它显示这条路线的底座——端侧推理性能——仍在持续投入，而不是在功能层铺开后就停在原地。