Accelerating vision-language models with LFM2.5-VL-DSpark

发布了什么

一个约 2.8 亿参数的草稿模型，挂在 3B 的视觉语言模型旁边做推测解码，让部署后的参数量增加 8.9%。首日支持 llama.cpp、MLX-VLM 和 SGLang，权重以 Safetensors 和 GGUF 两种格式提供。

做法

草稿模型读取目标模型在几个固定层上的隐藏状态，据此一次起草一块候选 token，再由目标模型验证。图像块和文字在这些层之前已经被投影到同一个表示空间，所以草稿模型看到的向量维度与输入是图是文无关，推理算法和纯文本版本完全相同。

结构是只含注意力的 4 层、块大小 9，由 3、4、5 层的消融实验选出。训练跑了 10 轮，接受率随训练量上升，之后趋于平缓。推理时建议块大小取 8 或 9，视硬件而定。

推测解码是精确的：目标模型验证每一个被提议的 token，贪心解码下的输出与单独运行目标模型完全相同。

数字

• M5 Max 上用 MLX：解码快 2.30 到 3.13 倍，端到端 1.56 到 2.62 倍
• M3 Ultra 上用 llama.cpp：解码 1.57 到 2.14 倍，端到端 1.30 到 1.77 倍
• H100 上：解码最高 2.66 倍，端到端 1.64 到 2.27 倍

评测覆盖六类视觉任务：通用问答、文字问答、图像描述、图表问答、复杂推理和多轮对话。

H100 那一行原文写作「20.4 倍到 2.66 倍」，与文首的「最高 2.66 倍」对不上，下限应是笔误，这里只引用上限。

为什么解码快三倍，整体只快一倍多

视觉语言模型要先让图像过一遍视觉编码器，再让语言主干处理几百个视觉 token 加上文字提示。端侧设备的算力远小于数据中心的显卡，预填充在总耗时里占得更多。

推测解码只加速解码这一段。当前面几段已经占了大部分时间，解码再快，整体的提升也有限。原文直接点了名：这是阿姆达尔定律，整体加速受限于没有被加速的那部分。

怎么读这条

这份公告值得留意的地方是它把不利的数字和原因一起写了出来。对做端侧视觉应用的人，含义很具体：如果你的请求是一张图配一句短回答，推测解码帮不上多少；如果是一张图配一段长输出，它才划算。

公告把它标为实验性。三个推理框架的支持都依赖尚在合并过程中的改动，需要对应的构建版本。