软件架构

本地与云混合推理架构

把「哪些请求留在本地、哪些上云」当成一个架构决策：隐私、延迟、成本与能力四个约束的显式权衡。

进阶

端侧 AI推理与部署

这个概念是什么意思

端侧模型能力的提升没有消灭云端推理，而是把问题变成了分流：同一个产品里，简单、隐私敏感或离线场景的请求走本地小模型，复杂推理走云端大模型。Ollama v0.32.0 把默认入口换成智能体并默认挂载云端模型，就是这种混合形态成为主流默认的信号。设计混合架构时有四个显式约束要排序：隐私（哪些数据绝不能出设备）、延迟（本地省去网络往返，但大模型本地跑反而更慢）、成本（云端按 token 计费、本地按硬件摊销）、能力（任务失败率超过阈值就必须升级到更强模型）。常见的工程形态是「本地先试 + 置信度路由」：本地模型先答，低置信度或超时再升级云端，同时把路由决策记录下来供后续调优。这个概念解释了为什么端侧和云端的发布节奏值得同时关注。

关系网络

在关系网络中的位置

这个概念相邻的技术信号与相关技能，点击节点可继续探索。

本地与云混合推理架构

技术 · 10

模型之间只传 17 比特：一座桥补上一半差距
FreeToken：消费级机器不是缩水的服务器，是异构资源
Qwen3.8-27B 的第三方实测：模型很好，出厂默认值不好
Qwen3.8-27B 开源：消费级显卡跑得动，尺子却是自己命名的
Cloudflare Computer：不给智能体一个容器，给它一台机器
开放模型生态半年报：点赞与下载，只有一个仓库同时上榜
LFM2.5-2.6B：一个在智能体外壳里训练出来的端侧模型
Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化
Ollama v0.32.0：本地运行时转型智能体工作台
Ollama v0.31.2：本地大模型运行时发布稳定版

技能 · 3

智能体工作流设计
工具集成模式
端侧模型部署与硬件适配

可解释

这个概念能解释的技术信号

量子位 · 2026-09-07

延伸

模型之间只传 17 比特：一座桥补上一半差距

大模型生成一个 token 时内部构建约两兆字节的状态，最后只吐出 17 个比特——而所有多模型协作系统（子智能体、模型委员会、路由调度）都建立在这 17 个比特之上。Mostik 让 753B 的 GLM-5.2 把隐藏状态通过一座小桥直接交给 4B 的 Qwen-3.5，全程不产生文本、两边权重完全冻结、桥是唯一被训练的部分。结果：4B 补上与 753B 约 50% 的差距、自身准确率 +25%、难题子集上 2 倍，而大模型侧推理成本降到约二十分之一。技术细节尚未公开，团队以比赛未结束为由拒绝披露。

这个概念在这里如何体现端侧与云端的分工一直被当成「谁跑哪一部分」的问题，而这条信号指出真正的瓶颈在接口上：两个模型之间每次只交换一个 token 的 17 个比特，把一百万个数值的内部状态整个丢掉。如果这条通道能变宽，那么「大模型算、小模型说」就成为一种新的成本结构——大模型只做便宜的预填充，昂贵的解码留给手机上的 4B。

端侧 AI推理与部署+1

查看相关信号

InfoQ 中文 · 2026-09-05

延伸

FreeToken：消费级机器不是缩水的服务器，是异构资源

伯克利与 MIT 开源 FreeToken，一个面向消费级硬件的 MoE 推理引擎，共同作者包括 Databricks 联合创始人 Matei Zaharia 与 Ion Stoica，以及 Song Han、Kurt Keutzer。它的前提是换一个看法：个人电脑不是资源受限的数据中心节点，而是可弹性调度的异构资源——缓存未命中时不让 GPU 停下来等，而是按实时互连吞吐在 CPU 与 GPU 之间分配 token 计算。论文报告在 8GB 显存的 RTX 4060 笔记本上跑 Qwen3.6-35B 约每秒 39 个 token，同批 MoE 模型上解码快 3 到 4 倍、预填充快 6 到 30 倍。而社区正在争论的，恰好是这个基线是不是经过手工调优。

这个概念在这里如何体现端侧推理此前的默认框架是「把数据中心那一套缩小」，于是消费级机器上所有不足都被记成缺陷。FreeToken 换了框架：PCIe 带宽不是要绕开的限制，而是每一层都要重新求解的调度变量。它同时给出了智能体场景里最贵的那一项修复——前缀一变就整段重算的 KV 缓存失效。而它公开面对的两条质疑，恰好示范了一个性能数字该被怎样检查。

端侧 AI推理与部署+1

查看相关信号

Simon Willison Blog · 2026-08-16

释义

Qwen3.8-27B 的第三方实测：模型很好，出厂默认值不好

本站昨天发这条模型时点名它所有对比都由厂商自跑，缺第三方的尺子。这就是那把尺子：同一道题，出厂默认档跑 21 分钟、烧掉 22,276 个思考 token 产出 3,223 token；关掉思考 137 秒完成。视觉定位很强，而真正的门槛是 15–30 token/秒的吞吐。

这个概念在这里如何体现昨天那条信号明确写着所有对比都由厂商自跑、缺第三方复现，这条正是补上的那一半，而且它补的方向出人意料：模型本身站得住，出问题的是出厂默认值。一个默认 xhigh 的推理档在消费级硬件上把 21 分钟花在一道两分钟的题上，还能把 8,192 的上下文整个吃光——这不是模型能力问题，是发布方替你做完的一个错误权衡。

端侧 AI前沿模型+1

查看相关信号

量子位 · 2026-08-15

印证

Qwen3.8-27B 开源：消费级显卡跑得动，尺子却是自己命名的

270 亿参数、原生多模态、262K 上下文可外推到 100 万，Apache 2.0，量化后一张 24GB 消费级显卡装得下——这一代 Qwen 把「本地跑得动的智能体」这条线又往前推了一格。榜单确实好看，但领先幅度最大的那一项跑在一把以厂商自己命名的基准上，而所有对比都由厂商自己完成。

这个概念在这里如何体现本地能跑的那一档模型，长期以来的代价是上下文短、多模态缺失或智能体能力弱。27B 这个尺寸同时给了 262K 原生上下文、原生视觉理解和可调的推理深度，而且是 Apache 2.0——这把「先看看能不能本地跑」从妥协方案变成了默认起点。同一周 Hugging Face 的生态报告给了这件事的宏观背景：小模型拿走 83% 的下载量，而 Qwen 是社区衍生模型最多的基座。

前沿模型端侧 AI+2

查看相关信号

InfoQ 中文 · 2026-08-15

延伸

Cloudflare Computer：不给智能体一个容器，给它一台机器

本周第三个关于「智能体运行时归谁」的答案，而这一个换了单位：它认为容器根本不该是那个单位。框架跑在 isolate 里，容器按需连上来当作一次工具调用，两边共享同一套基于 SQLite 的文件系统。目标写得很直白——让不到一成的工作才需要容器。仍是早期预览版。

这个概念在这里如何体现同一周里第三种关于智能体运行时的答案，而它把问题往下推了一层：不是「运行时该由谁提供」，而是「运行智能体的单位该是什么」。如果按需连上的容器只服务不到一成的工作，那么成本模型、冷启动、状态持久化和可观测性都要重画一次。它同时是今天头条那条结论最干净的对照组——star 数差 14 倍，活跃度指标全部反向。

AI 智能体工作流+1

查看相关信号

Hugging Face Blog · 2026-08-14

释义

开放模型生态半年报：点赞与下载，只有一个仓库同时上榜

Hugging Face 用自家 Hub 前七个月的数据做了一次生态盘点。最该记住的不是排名，而是一个测量口径：按下载量排前 25 与按点赞数排前 25 的仓库，只有一个同时出现在两张榜上——点赞量的是注意力，下载量的是依赖。同一份报告里第一次量到智能体流量，而它自己的许可结论被评论区当场纠正。

这个概念在这里如何体现它给了本站每一条模型信号一把校准过的尺子。「两张榜只重合一个仓库」直接说明：热度高的发布和被真正接进流水线的东西几乎不是同一批。同一周 DeepSeek Harness 两天半拿到 11.4 万 star 而三天没有新提交，正是这条结论的现成注脚。而智能体流量第一次被量出来，且四个月里份额能从 67.8% 掉到 6.4% 再回到 44.4%，说明这一层的选型判断有效期很短。

前沿模型产品策略+2

查看相关信号

Hugging Face Blog · 2026-08-04

延伸

LFM2.5-2.6B：一个在智能体外壳里训练出来的端侧模型

Liquid AI 发布 2.6B 的端侧智能体模型：不到 2.5GB 内存，M5 Max 上 220 tok/s、Ryzen 上 113 tok/s、手机上约 30 tok/s，工具使用与指令跟随几乎全线压过 4 倍大的模型。真正值得注意的不是尺寸，而是后训练的最后一段直接在 OpenClaw、Hermes Agent 这类真实智能体外壳内部跑强化学习——适配的方向反了过来。

这个概念在这里如何体现端侧智能体此前的瓶颈不是「能不能跑」，而是「跑得动的模型驱不动工具循环」。2.6B、不到 2.5GB、手机上 30 tok/s 且工具使用接近同类最好水平，第一次让「整条智能体循环留在本机」成为一个可以认真评估的选项，而不是演示。

端侧 AIAI 智能体+1

查看相关信号

Ollama Releases · 2026-07-25

延伸

Ollama v0.32.4：Apple GPU 上的 Laguna 支持与推测解码草稿量化

Ollama v0.32.4 通过 MLX 引擎为 Apple GPU 增加 Laguna 模型支持，让推测解码的草稿模型输出头按指定精度量化，并修复了 Qwen3 MoE 在专家量化精度不一致时的解码问题，打包的 gate/up 投影在 M5 Max 上提速约 4–9%。注意：本版的 MLX Laguna 路径存在会降低 NVFP4 模型输出质量的缺陷，已在两天后的 v0.32.5 修复——要在 Apple GPU 上跑 Laguna 请直接用 v0.32.5。

这个概念在这里如何体现端侧跑 MoE 模型的瓶颈已经从「能不能加载」转移到「量化路径干不干净」。这一版把草稿模型输出头量化和专家精度不一致两个坑同时补上，是本地推理走向可用的具体一步。

端侧 AI推理与部署

查看相关信号

Ollama Releases · 2026-07-14

释义