主题聚合
推理与部署
大模型推理引擎、部署形态与成本优化相关的信号。
跟进此话题
站内关注 · 站外订阅话题图谱
16 个节点 · 64 条连接- 本话题的内容
- 话题外的邻居
- 渊源 · 续作 · 延伸
- 必备 · 借助
- 释义 · 印证
- 关联
已发布技术信号
31 条AnyLanguageModel 1.0 发布：本地与云端共用一套 API
Hugging Face 为 Apple 平台推出的 AnyLanguageModel 到达 1.0，作为 Foundation Models 框架的替代实现，开发者只改一行 import 就能切换系统模型、llama.cpp/MLX/Core ML 本地模型以及 OpenAI、Anthropic、Gemini 等托管服务。一年间补齐了所有提供方一致的工具调用、引导生成与图像输入，并支持 Linux。
PyTorch 2.15：MPS 支持 FP8，MoE 解码快 6 倍
PyTorch 2.15 为 MPS 后端加入 float8_e4m3fn 张量与 F.scaled_mm，并让 MoE 解码比 2.14 快 5–6.5 倍：M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 提升到 61.3 tokens/s。此外词表 softmax 约快 8 倍，Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB。
PyTorch 原生支持 Trainium：TorchNeuron 公测
AWS Trainium 通过 TorchNeuron 插件成为 PyTorch 的原生设备：eager 模式、torch.compile 与 FSDP、张量并行都用 PyTorch 自己的接口，10 月 20 日起公测。Transformers、Diffusers、Kernels 原生支持，前 100 个常用文本生成架构里 89% 开箱即用（Optimum Neuron 时是 46%），Hugging Face 建议不再经过 Optimum Neuron。
vLLM v0.32.0：结构化决策接口，KV 缓存精度再降
vLLM v0.32.0 包含 814 个 commit、363 位贡献者（其中 121 位首次参与）。新版本加入 POST /v1/systemone 结构化决策接口和通用 hf 工具与推理解析器，并将 NVFP4、FP8 等低精度 KV 缓存扩到更多硬件，GLM-5.x 在 SM100 上默认使用 FP8 KV 缓存。
DeepSeek-V4 的周期性盲点：信息换个位置，检索准确率差 40 个百分点
字节跳动 Seed 发现，采用分块 KV 缓存压缩的模型，检索准确率会随信息相对压缩窗口边界的位置周期性起伏。128K 上下文里，DeepSeek-V4-Flash-Base 在不同位置之间最多差 40.2 个百分点，后训练过的 V4.1-Flash 仍差 6.1 个百分点。起伏的周期正好等于压缩步长：V4 是 4 个 token，V4.1 是 2 个。平均分会把这种弱点藏起来。
Cloudflare 开放 Clef：意图分类胜过 Jev，推理判断落后
Ollama v0.35.1 支持 Cloudflare 的开放决策模型 Clef（27B，Apache 2.0）与 Clef Flash（9B），并新增 /v1/systemone 接口：输入状态与带类型的问题，一次前向返回概率，不生成文字。与 9 月的 Jev 相比，Clef 在 BANKING77 与 CLINC150 上领先，在 ANLI 上落后，中位延迟 209 毫秒对 524 毫秒。同周 Liquid AI 也开放了 d1 决策模型。
DeepSeek 开源昇腾版 DeepGEMM 等组件：接口与 NVIDIA 版相同
DeepSeek 9 月 30 日开源了一组跑在华为昇腾上的基础组件：算子编译工具 TileLang 的昇腾支持、矩阵乘法库 DeepGEMM-Ascend、专家并行通信库 DeepEP-Ascend，以及 TileKernels、FlashMLA、DeepSelect 等算子。DeepGEMM-Ascend 按 MIT 许可发布，与原版 DeepGEMM 接口完全兼容，在昇腾 950DT 上实测 BF16 达到 431 TFLOPS（硬件利用率 99.8%），FP4 达到 1701 TFLOPS。目前只在 950 系列上开发和验证，没有提到 910B / 910C。
NVIDIA 开放表格模型 Kumo Tabular：无需训练，一次前向出预测
NVIDIA 9 月 29 日开放 Kumo Tabular，一个面向表格数据的基础模型：给它一张带标签行的表，它在一次前向计算里完成分类或回归，不需要训练、调参或特征工程。模型有 2800 万到 2.15 亿参数三种尺寸，只用合成数据预训练，按允许商用的 OpenMDW-1.1 许可发布权重。它在 TabArena 排名第一（ELO 1950），速度是 LimiX-2 的 17 倍；但博客没有给出与 XGBoost 等传统方法的直接对比。
TPU 巨核：同样是 16 块芯片，Kimi K3 快 57%
vLLM 原班人马创办的 Inferact 开源了一组 TPU 推理内核：把 Kimi K3 的 92 层计算写进同一个程序，趁当前层还在计算时预取下一层的权重。16 块 TPU v7 配合推测解码每秒输出 709 个 token，基线是 vLLM 在 16 块 GB200 上的 452 个。两种芯片的内存带宽其实是 GB200 略高，差距来自软件怎样用满它。这是面向单个用户、小批量解码的成绩。
Colibrì：25GB 内存跑 744B 模型，权重按需从硬盘读
开源推理引擎 Colibrì 把显存、内存和固态硬盘当成同一套存储层级：744B 的 GLM-5.2 每个 token 只激活约 40B 参数，于是常驻内存的只有约 9.9GB 的稠密部分，19,456 个路由专家留在硬盘上按需读取。它不保证速度，只保证不悄悄改动模型：25GB 的开发机冷缓存时每秒 0.05 到 0.1 个 token，128GB 的纯 CPU 台式机约 1.8 个。
LFM2.5-VL-DSpark：解码快三倍，整体受图像编码拖累
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布了一个实验性的推测解码草稿模型：多占 8.9% 的参数，解码在设备端最高快到 3.13 倍，输出与原模型完全一致。但端到端的提速只有 1.30 到 2.62 倍，原文自己解释了原因——推测解码只加速解码，图像编码和预填充不受影响，而这两段在端侧恰恰占了大头。
Pinterest 数百亿向量检索：量化与 SSD 的取舍明细
Pinterest 的搜索平台 Manas 在 80 个集群上服务数百亿嵌入向量。在 1 亿条向量上的离线基准里，标量量化把 HNSW 索引从 121GB 压到 50GB、召回几乎不掉；乘积量化压到 32GB，召回从 93.7% 掉到 77.3%。上线后服务成本降低 20% 到 30%。搬到 SSD 时，SPANN 加乘积量化的吞吐是 DiskANN 的 3 倍、延迟三分之一，召回低 5%。选哪种，取决于你的召回下限，不取决于压缩率。
vLLM v0.30.0：快速启动，外加生成水印
762 个提交、315 位贡献者。四件值得看：常驻的权重缓存守护进程让引擎重启时直接映射已量化、已切分的权重，不再从磁盘重载；Gumbel-max 水印生成与检测，且与推测解码兼容；稀疏 MLA 解码可把 KV 页溢出到主机内存；H200 上引擎初始化从 28.9 秒降到 8.2 秒。新增 DeepSeek-V4.1-Flash、GLM-5.3-Flash 等模型支持，另有六项破坏性变更，默认 CUDA 13.0。
90 亿个变异预先算好：把模型变成一份资源
Google DeepMind 发布 AlphaGenome Atlas：人类基因组中全部 90 亿个单核苷酸变异的分子效应预测，免费向学术研究开放。模型不是新的，新的是它被整个跑完一遍并发布出来——实验室里逐个测试 90 亿种突变不可行，而把预测大规模预先算好，就把一个需要调用的模型变成了一份可以直接查询的资源。数据集 1 PB，是 AlphaFold 数据库的 30 多倍；每个变异带数千项预测，跨数百种细胞类型。同时发布的 AVI 分数把两个模型压成一个数字，但每个分数都链接回驱动它的生物学特征——合成分数可以被拆回去。
模型之间只传 17 比特：一座桥补上一半差距
大模型生成一个 token 时内部构建约两兆字节的状态，最后只吐出 17 个比特——而所有多模型协作系统（子智能体、模型委员会、路由调度）都建立在这 17 个比特之上。Mostik 让 753B 的 GLM-5.2 把隐藏状态通过一座小桥直接交给 4B 的 Qwen-3.5，全程不产生文本、两边权重完全冻结、桥是唯一被训练的部分。结果：4B 补上与 753B 约 50% 的差距、自身准确率 +25%、难题子集上 2 倍，而大模型侧推理成本降到约二十分之一。技术细节尚未公开，团队以比赛未结束为由拒绝披露。
FreeToken：消费级机器不是缩水的服务器，是异构资源
伯克利与 MIT 开源 FreeToken，一个面向消费级硬件的 MoE 推理引擎，共同作者包括 Databricks 联合创始人 Matei Zaharia 与 Ion Stoica，以及 Song Han、Kurt Keutzer。它的前提是换一个看法：个人电脑不是资源受限的数据中心节点，而是可弹性调度的异构资源——缓存未命中时不让 GPU 停下来等，而是按实时互连吞吐在 CPU 与 GPU 之间分配 token 计算。论文报告在 8GB 显存的 RTX 4060 笔记本上跑 Qwen3.6-35B 约每秒 39 个 token，同批 MoE 模型上解码快 3 到 4 倍、预填充快 6 到 30 倍。而社区正在争论的，恰好是这个基线是不是经过手工调优。
Muse Glimmer 开源：30B 压进消费级显卡，报错不停下
Meta 发布 Muse Glimmer：300 亿参数、Apache 2.0 开放权重，专为常驻本地的智能体工作流设计。4 位动态量化把 55GB 以上的显存需求压到 17 至 20GB，配合 DFlash 推测解码在 M5 Max 与 RTX 5090 上把吞吐提到最多 3.1 倍。真正值得注意的不是尺寸，而是它把「工具调用失败之后怎么办」写进了训练目标：API 或终端命令报错时，模型诊断故障并另找路径，而不是终止执行。
同一个集群多出 33 个点的利用率：变的只是分配顺序
Dharma-AI 做了一个带约束的 GPU 分配器，在七个基准场景里对上 FIFO 调度：硬件不变、负载不变，利用率最多多出 33 个百分点，按优先级加权的产出在每一个场景里都上升，最多翻倍还多。变的只有一件事——分配决定是按什么顺序做出来的。它同时把一个常被当作口号的目标翻译成了可执行的形式：不是「让 GPU 忙起来」，而是哪块卡在哪个时间片跑哪个任务、按什么优先级。
vLLM v0.27.0：561 次提交，一个版本内为 Kimi K3 落齐整条推理栈
vLLM v0.27.0 带来 561 次提交、242 位贡献者，在一个版本内为 Kimi K3 落齐从内核到双前端的整条支持路径；同时升级到 PyTorch 2.13（破坏性环境变更），并把 Model Runner V2 推进到非生成式负载。
SGLang v0.5.17：Kimi K3 首日可服务，以及一个认识会话的前缀缓存
582 个 PR、194 位贡献者的一次大版本。Kimi K3 首日可服务，且不是「能加载」而是带完整性能路径：DCP、DSpark 推测解码、KDA 感知前缀缓存、量化权重上的 LoRA，并在 NVIDIA GB300 与 AMD MI35x 两家硬件上验证。真正的新东西是一个认识会话的统一前缀缓存——淘汰不再只按缓存策略，而是知道哪些前缀仍被活跃会话引用。
LFM2.5-2.6B：一个在智能体外壳里训练出来的端侧模型
Liquid AI 发布 2.6B 的端侧智能体模型：不到 2.5GB 内存，M5 Max 上 220 tok/s、Ryzen 上 113 tok/s、手机上约 30 tok/s，工具使用与指令跟随几乎全线压过 4 倍大的模型。真正值得注意的不是尺寸，而是后训练的最后一段直接在 OpenClaw、Hermes Agent 这类真实智能体外壳内部跑强化学习——适配的方向反了过来。
LFM2.5-Encoders：能在 CPU 上跑长文档的小编码器，长上下文比 ModernBERT 快 3.7 倍
Liquid AI 发布两个开源编码器 LFM2.5-Encoder-230M 与 350M：在 GLUE、SuperGLUE 和多语任务上追平更大的编码器，支持 8,192 token 上下文，长上下文场景下在 CPU 上比 ModernBERT-base 快约 3.7 倍。它针对的是被生成式模型遮住的那一半生产负载——意图路由、策略检查、PII 识别、文本分类，这些任务整天在跑、大多跑在 CPU 上，且输入越来越长。
Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化
Ollama v0.32.4 通过 MLX 引擎为 Apple GPU 增加 Laguna 模型支持，让推测解码的草稿模型输出头按指定精度量化，并修复了 Qwen3 MoE 在专家量化精度不一致时的解码问题，打包的 gate/up 投影在 M5 Max 上提速约 4–9%。注意：本版的 MLX Laguna 路径存在会降低 NVFP4 模型输出质量的缺陷，已在两天后的 v0.32.5 修复——要在 Apple GPU 上跑 Laguna 请直接用 v0.32.5。
vLLM v0.26.0：为 Inkling 万亿参数模型补齐推理全栈
vLLM 发布 v0.26.0，来自 212 位贡献者的 411 个提交。最重要的一条是为 Thinking Machines 开源的 Inkling 模型家族提供完整支持栈：基础建模、分段 CUDA Graph、Hopper 架构的 FA4 相对注意力，以及 MTP=1 的推测解码。
Google Gemini Flash Cyber：面向漏洞发现与修复的轻量安全模型
Google DeepMind 发布新一批 Gemini Flash 模型，其中 Flash Cyber 是一个专注网络安全的轻量模型，用于自动发现并修复代码中的漏洞；同批还有 3.6 Flash 与 3.5 Flash-Lite 两个通用轻量层级。
Inkling：Thinking Machines 开源万亿参数多模态 MoE 模型
Thinking Machines 开源 Inkling：约 1 万亿总参数、41B 激活参数的 MoE 多模态模型，原生处理文本/图像/音频输入，支持 1M 上下文，训练数据覆盖 45 万亿 token 的文本、图像、音频与视频。发布即获得 Transformers、vLLM、SGLang、llama.cpp、Unsloth 的支持。
Ollama v0.32.0：本地运行时转型智能体工作台
Ollama 发布 v0.32.0：直接运行 ollama 命令现在会启动一个交互式智能体，可以聊天、写代码、联网搜索并委派实际工作。本地模型运行时正式向智能体入口转型。
vLLM v0.25.0：Model Runner V2 成为默认执行引擎的大版本
vLLM 发布 v0.25.0：558 个提交、232 位贡献者参与的大版本。Model Runner V2 正式成为所有稠密模型的默认执行引擎，在上一版本量化模型支持的基础上完成了推理执行栈的代际切换。
vLLM 的 Transformers 后端达到原生速度：450+ 架构免移植高性能推理
Hugging Face 与 vLLM 宣布：vLLM 中的 Transformers 建模后端在 Qwen3 4B/32B 稠密模型和 235B FP8 MoE 上全面追平甚至反超 vLLM 手写原生实现。模型作者只需一个 --model-impl transformers 开关，就能让 Transformers 实现直接获得 vLLM 级推理性能，无需移植。
Ollama v0.31.2：本地大模型运行时发布稳定版
本地大模型运行时 Ollama 发布 v0.31.2 稳定版，近期迭代集中在 GPU 卸载与模型创建流程的稳健性上。
vLLM v0.24.0：开源高吞吐推理引擎发布新稳定版
开源高吞吐大模型推理引擎 vLLM 发布 v0.24.0 稳定版，同期 v0.25 的候选版本序列也在快速推进，项目迭代节奏持续走高。