主题聚合
端侧 AI
在笔记本、手机或边缘设备上本地运行有能力的模型。
跟进此话题
站内关注 · 站外订阅话题图谱
16 个节点 · 58 条连接- 本话题的内容
- 话题外的邻居
- 渊源 · 续作 · 延伸
- 必备 · 借助
- 释义 · 印证
- 关联
已发布技术信号
22 条AnyLanguageModel 1.0 发布：本地与云端共用一套 API
Hugging Face 为 Apple 平台推出的 AnyLanguageModel 到达 1.0，作为 Foundation Models 框架的替代实现，开发者只改一行 import 就能切换系统模型、llama.cpp/MLX/Core ML 本地模型以及 OpenAI、Anthropic、Gemini 等托管服务。一年间补齐了所有提供方一致的工具调用、引导生成与图像输入，并支持 Linux。
PyTorch 2.15：MPS 支持 FP8，MoE 解码快 6 倍
PyTorch 2.15 为 MPS 后端加入 float8_e4m3fn 张量与 F.scaled_mm，并让 MoE 解码比 2.14 快 5–6.5 倍：M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 提升到 61.3 tokens/s。此外词表 softmax 约快 8 倍，Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB。
谷歌开放新嵌入模型：图片音频文字同一个空间
Google 10 月 6 日发布开放权重的 EmbeddingGemma 2：基于 Gemma 4，共 740M 参数，文字、图片、音频、视频与代码嵌入同一个空间，视觉与音频编码器可选，只处理文字时只需 270M。上下文 8K，是上一代的 4 倍。代码检索 MTEB 从 68.76 升到 78.68，多语言文本几乎持平。
Cloudflare 开放 Clef：意图分类胜过 Jev，推理判断落后
Ollama v0.35.1 支持 Cloudflare 的开放决策模型 Clef（27B，Apache 2.0）与 Clef Flash（9B），并新增 /v1/systemone 接口：输入状态与带类型的问题，一次前向返回概率，不生成文字。与 9 月的 Jev 相比，Clef 在 BANKING77 与 CLINC150 上领先，在 ANLI 上落后，中位延迟 209 毫秒对 524 毫秒。同周 Liquid AI 也开放了 d1 决策模型。
ADK Kotlin 1.0：智能体逻辑不必再绕回 Python
Google 发布 Kotlin 版智能体开发套件 1.0，功能上与 Python 版和 Java 版对齐，可用于 Android、JVM 和服务端。几处设计值得留意：工具的描述在编译期由注解生成，不靠运行时反射；敏感工具可以声明为执行前必须人工确认；技能存放在 SKILL.md 里按需加载。端侧推理支持 LiteRT-LM 与仍在测试阶段的 ML Kit。
Colibrì：25GB 内存跑 744B 模型，权重按需从硬盘读
开源推理引擎 Colibrì 把显存、内存和固态硬盘当成同一套存储层级：744B 的 GLM-5.2 每个 token 只激活约 40B 参数，于是常驻内存的只有约 9.9GB 的稠密部分，19,456 个路由专家留在硬盘上按需读取。它不保证速度，只保证不悄悄改动模型：25GB 的开发机冷缓存时每秒 0.05 到 0.1 个 token，128GB 的纯 CPU 台式机约 1.8 个。
LFM2.5-VL-DSpark：解码快三倍，整体受图像编码拖累
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布了一个实验性的推测解码草稿模型：多占 8.9% 的参数，解码在设备端最高快到 3.13 倍，输出与原模型完全一致。但端到端的提速只有 1.30 到 2.62 倍，原文自己解释了原因——推测解码只加速解码，图像编码和预填充不受影响，而这两段在端侧恰恰占了大头。
模型之间只传 17 比特：一座桥补上一半差距
大模型生成一个 token 时内部构建约两兆字节的状态，最后只吐出 17 个比特——而所有多模型协作系统（子智能体、模型委员会、路由调度）都建立在这 17 个比特之上。Mostik 让 753B 的 GLM-5.2 把隐藏状态通过一座小桥直接交给 4B 的 Qwen-3.5，全程不产生文本、两边权重完全冻结、桥是唯一被训练的部分。结果：4B 补上与 753B 约 50% 的差距、自身准确率 +25%、难题子集上 2 倍，而大模型侧推理成本降到约二十分之一。技术细节尚未公开，团队以比赛未结束为由拒绝披露。
FreeToken：消费级机器不是缩水的服务器，是异构资源
伯克利与 MIT 开源 FreeToken，一个面向消费级硬件的 MoE 推理引擎，共同作者包括 Databricks 联合创始人 Matei Zaharia 与 Ion Stoica，以及 Song Han、Kurt Keutzer。它的前提是换一个看法：个人电脑不是资源受限的数据中心节点，而是可弹性调度的异构资源——缓存未命中时不让 GPU 停下来等，而是按实时互连吞吐在 CPU 与 GPU 之间分配 token 计算。论文报告在 8GB 显存的 RTX 4060 笔记本上跑 Qwen3.6-35B 约每秒 39 个 token，同批 MoE 模型上解码快 3 到 4 倍、预填充快 6 到 30 倍。而社区正在争论的，恰好是这个基线是不是经过手工调优。
Muse Glimmer 开源：30B 压进消费级显卡，报错不停下
Meta 发布 Muse Glimmer：300 亿参数、Apache 2.0 开放权重，专为常驻本地的智能体工作流设计。4 位动态量化把 55GB 以上的显存需求压到 17 至 20GB，配合 DFlash 推测解码在 M5 Max 与 RTX 5090 上把吞吐提到最多 3.1 倍。真正值得注意的不是尺寸，而是它把「工具调用失败之后怎么办」写进了训练目标：API 或终端命令报错时，模型诊断故障并另找路径，而不是终止执行。
Qwen3.8-27B 的第三方实测：模型很好，出厂默认值不好
本站昨天发这条模型时点名它所有对比都由厂商自跑，缺第三方的尺子。这就是那把尺子：同一道题，出厂默认档跑 21 分钟、烧掉 22,276 个思考 token 产出 3,223 token；关掉思考 137 秒完成。视觉定位很强，而真正的门槛是 15–30 token/秒的吞吐。
Qwen3.8-27B 开源：消费级显卡跑得动，尺子却是自己命名的
270 亿参数、原生多模态、262K 上下文可外推到 100 万，Apache 2.0，量化后一张 24GB 消费级显卡装得下——这一代 Qwen 把「本地跑得动的智能体」这条线又往前推了一格。榜单确实好看，但领先幅度最大的那一项跑在一把以厂商自己命名的基准上，而所有对比都由厂商自己完成。
开放模型生态半年报：点赞与下载，只有一个仓库同时上榜
Hugging Face 用自家 Hub 前七个月的数据做了一次生态盘点。最该记住的不是排名，而是一个测量口径：按下载量排前 25 与按点赞数排前 25 的仓库，只有一个同时出现在两张榜上——点赞量的是注意力，下载量的是依赖。同一份报告里第一次量到智能体流量，而它自己的许可结论被评论区当场纠正。
Meta 重回开放权重：一封长文、一个独立董事会，和一组本地部署的数字
Muse Glimmer 以 Apache 2.0 开放权重的同时，Meta 宣布重回开放路线：扎克伯格发表长文反对能力集中，公司设立独立董事会逐项审核每次模型发布，并披露了让本地部署成立的量化与推测解码数字。Muse Spark 1.2 的权重据称随后开放。
SL2T：手语识别第一次离开实验室，进了输入法
Google DeepMind 发布大规模多语手语转文字模型 SL2T，并首次把手语 AI 装进消费级产品：Pixel 11 上的 Gboard 手语听写与 Live Transcribe，先支持美国手语转英文。全球有 200 多种手语、约 7000 万聋人及听力障碍者使用者，而这一层此前一直没被语音技术的进展覆盖到。
Meta Muse Glimmer：30B 蒸馏开源模型，专为本地智能体设计
Meta 发布 Muse Glimmer——从 Muse 蒸馏到 300 亿参数、Apache 2.0 许可的多模态模型，目标是本地跑的智能体。工具调用与检索类基准领先同级开源模型，但在桌面与终端操作上输给 Qwen3.6-27B；生态当天跟进，硬件支持却分了档。
LFM2.5-2.6B：一个在智能体外壳里训练出来的端侧模型
Liquid AI 发布 2.6B 的端侧智能体模型：不到 2.5GB 内存，M5 Max 上 220 tok/s、Ryzen 上 113 tok/s、手机上约 30 tok/s，工具使用与指令跟随几乎全线压过 4 倍大的模型。真正值得注意的不是尺寸，而是后训练的最后一段直接在 OpenClaw、Hermes Agent 这类真实智能体外壳内部跑强化学习——适配的方向反了过来。
LFM2.5-Encoders：能在 CPU 上跑长文档的小编码器，长上下文比 ModernBERT 快 3.7 倍
Liquid AI 发布两个开源编码器 LFM2.5-Encoder-230M 与 350M：在 GLUE、SuperGLUE 和多语任务上追平更大的编码器，支持 8,192 token 上下文，长上下文场景下在 CPU 上比 ModernBERT-base 快约 3.7 倍。它针对的是被生成式模型遮住的那一半生产负载——意图路由、策略检查、PII 识别、文本分类，这些任务整天在跑、大多跑在 CPU 上，且输入越来越长。
Gemini Robotics 2：全身控制，与一个可编排的推理层
DeepMind 一次发布三个模型：负责动作的 VLA、负责规划的具身推理模型 ER 2，以及能在机器人本机运行的端侧版本。对这里的读者来说，值得看的不是机器人本身——ER 2 把 VLA 和导航 API 当作工具声明、用双向流接收视频、一边执行一边思考，是这个站点已经在跟踪的那套智能体架构换了一种执行器。真正的新东西是它开始能回答「这一步做完了没有」：时刻定位准确率 91.3%、平均误差 0.96 秒。ER 2 已经通过 Gemini API 公开可用，动作模型与端侧模型仍限早期合作伙伴。
Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化
Ollama v0.32.4 通过 MLX 引擎为 Apple GPU 增加 Laguna 模型支持，让推测解码的草稿模型输出头按指定精度量化，并修复了 Qwen3 MoE 在专家量化精度不一致时的解码问题，打包的 gate/up 投影在 M5 Max 上提速约 4–9%。注意：本版的 MLX Laguna 路径存在会降低 NVFP4 模型输出质量的缺陷，已在两天后的 v0.32.5 修复——要在 Apple GPU 上跑 Laguna 请直接用 v0.32.5。
Ollama v0.32.0：本地运行时转型智能体工作台
Ollama 发布 v0.32.0：直接运行 ollama 命令现在会启动一个交互式智能体，可以聊天、写代码、联网搜索并委派实际工作。本地模型运行时正式向智能体入口转型。
Ollama v0.31.2：本地大模型运行时发布稳定版
本地大模型运行时 Ollama 发布 v0.31.2 稳定版，近期迭代集中在 GPU 卸载与模型创建流程的稳健性上。