PyTorch 2.15：MPS 支持 FP8，MoE 解码快 6 倍

发生了什么

Hugging Face 的 PyTorch 团队发布博文，介绍 PyTorch 2.15 在 MPS（Metal Performance Shaders）后端上的改动。该团队表示，他们的做法是在 Hugging Face Hub 上用语言、图像和视频的真实模型做测试，找出 MPS 的短板，再回到 PyTorch 上游修复，其中不少工作是绕开 MPSGraph、改写为专用 Metal kernel。

具体内容

FP8 进 Mac。 2.15 在 MPS 上支持 torch.float8_e4m3fn 张量，每个值占一个字节，存储是 FP16 或 BF16 的一半；配套的 F.scaled_mm 支持按张量和按行两种缩放方式，可直接在 GPU 上做量化矩阵乘。

MoE 与 LLM 解码加速。 解码阶段每个新 token 以单行走过模型，大矩阵乘退化为矩阵向量乘。2.14 已有 torch.mm 的 GEMV kernel，但 F.linear 仍走 MPSGraph；2.15 把两者接通，96 个来自真实模型的 BF16 层形状上几何平均提速 1.23 倍，收益集中在 MoE 门控这类小投影上。MoE 层则获得了原生 grouped matmul：偏移量不再拷回 CPU 循环，小分组（解码时的常见情况）有独立 kernel。

数字。 在 M3 Ultra 上配合 torch.compile：

• Qwen3.6-35B-A3B：9.4 → 61.3 tokens/s
• LFM2.5-8B-A1B：23.6 → 123.6 tokens/s

Softmax 与内存。 词表 softmax 改走专用 Metal kernel，对 [1, 128256] 的 FP32 logits 从 57 µs 降到 7 µs，约 8 倍。Wan2.2 的 tiled VAE 解码一次完整流程有 8,764 次 padding 调用，改用 Metal padding 后，驱动内存峰值从约 270 GiB 降到 8 GiB。

其他。 新增 torch.mps.Stream 与 torch.mps.stream 上下文管理器，可从 Python 选择 MPS 流；complex64 的 LU 分解与求解、三角形求解、小矩阵求逆、QR 分解等线性代数操作也得到支持或加速；conv1d 前向、反射/复制 padding、dropout、上采样反向等训练相关操作有新的 Metal 路径。

要求变化。 MPS 现在要求 macOS 15 或更高版本，PyTorch 2.15 要求 Python 3.11 或更高版本。

对读者意味着什么

1. 在 Apple silicon 上跑本地 LLM 或 MoE 模型的团队，值得用 2.15 重新测一遍解码吞吐，尤其是小投影密集的 MoE 结构。
2. 做本地视频生成的用户，padding 修复可能直接决定模型能否在机器上跑完，而不只是快慢问题。
3. 依赖 MPS 的旧环境要先确认 macOS 与 Python 版本是否满足新门槛，再谈升级收益。