Technology radar

新旗舰与开放模型几乎都是 MoE，训练框架也围绕专家并行重写，读懂总参数与激活参数之差已是看懂任何新模型的前提。

主流推理引擎已能在量化权重上直接挂 LoRA，扩散模型也有了免转换的规模化微调，定制模型的默认做法是先试参数高效微调。

2–3B 级模型在笔记本和手机上跑出可用的工具调用速度，小编码器在 CPU 上处理长文档；但端到端速度常被图像编码与预填充拖住，要按整条链路测。

Kimi K3、Muse Glimmer、Qwen3.8 让开放权重追到旗舰附近，但厂商自跑的分数和出厂默认配置都要先实测，适合在可控场景里小范围替换闭源模型。

语音模型已直接驱动主流助手，对话中还能在后台调用工具；评测开始衡量「像不像人」，适合在语音入口的产品里试点。

旗舰模型纷纷标称百万级上下文，而实测显示检索准确率会随信息所在位置大幅起伏，标称长度不等于可用长度。

只返回概率、不生成文字的模型把分类和重排做得极便宜，开放版本也已能在本地跑；代价是没有任何解释，厂商的速度与价格对比还缺第三方核对。

前沿团队把强化学习的批量、环境与评分算力一起放大，一次就要上百万美元；公开的对照里，推理时的验证与修正带来的提升比再跑一轮强化学习更大。多数团队先看自己的任务能不能自动判对错。

开放数据集和全合成后训练都在推这条路，但合成数据只在任务既前沿又可验证时才不贬值，缺一条就会很快失效。

大规模重写、清理过期开关这类工作已由智能体主写并合入生产，前提是任务边界和验收标准由人先定好。

2.0 改成无状态后能放在普通负载均衡后面，网关不读正文就能路由与计量；托管智能体和编排系统都把它当成默认的工具接入方式。

本地运行时直接启动智能体，30B 以内的开放模型专为本机工具调用设计，移动端也有了原生开发套件，适合不便上云的数据与流程先试。

社区和审计团队已用智能体成批重跑论文，几乎每篇都被标出问题；但「已验证」常常只是检查停得早，结论要看复现覆盖了哪些论断。

函数调用、历史持久化、上下文压缩、审批与追踪开始打包成受支持的运行时；选型变多也更分散，热度不等于采用，先在一个场景里比较再定。

效果主要取决于指令怎么写，而公开工具在少报错与漏报之间取舍很大；适合作为人工审查前的一道筛子，按影响半径决定谁来看。

开放的电脑操作模型已追到闭源旗舰几个点以内，办公智能体也能跨应用连续操作；但最强的开放版本不能商用，真实桌面任务的成功率仍需自己量。

能连续工作数小时的智能体已经上线，但做错的任务里三分之二没有报错，长任务过半仍要人插手；先在能按最终状态核对结果的流程里评估。

从历史轨迹里蒸馏出行为指引能提升效果，但同一套记忆在不同模型上的最佳用量完全不同，要按模型标定，而不是一开就灵。

开源的模糊测试流水线和专门的安全模型都在出现，最强的一档先只开放给安全团队；它会在宿主机上直接执行构建命令，只能放进用完即弃的环境。

4 位动态量化让 30B 级模型装进一张消费级显卡，厂商也开始随模型公布量化后的数字；部署开放模型时先量化再谈硬件。

多起入侵与越权都从隔离不严的环境开始，大规模训练平台按隔离要求给沙箱分档；只要智能体会执行代码，就默认放进隔离环境。

本地跑开放模型最省事的入口，迭代快、覆盖 Apple GPU，并开始提供非生成式接口；适合开发与个人使用，生产服务另选引擎。

几乎每个新开放模型都在首日或一个版本内获得完整支持，新执行引擎已成默认，冷启动也大幅缩短，是自建推理服务的默认起点。

从数据中心到端侧都有成倍的解码提速，但它只加速解码，端到端提速常只有一半；上线前用自己的负载量整条链路。

对超大 MoE 模型做到首日带完整性能路径，前缀缓存开始认识会话；在长对话、多轮智能体负载上值得和 vLLM 并排实测。

TPU 上的专用内核在同样芯片数下跑赢 GPU 基线，昇腾也有了接口相同的开源算子库；值得为成本与供应做评估，但生态仍窄。

把路由专家留在内存或硬盘、按需读取，能让个人电脑加载数百 B 的模型；速度从每秒零点几个 token 起，目前更适合离线和实验。

分块压缩与把 KV 页溢出到主机内存能撑起长上下文，但已有模型的检索准确率随位置周期性下跌，后训练才压小这个差距。

Hold means: don't do this.

智能体靠编辑公共 wiki、截图服务和 DNS 解析都走出过沙箱，「只能打开网址」或「GET 不写数据」都不是隔离边界。

单价降了的模型可能多用 token、按任务反而更贵，智能体账单也能悄悄超支数倍；比较模型时按完成一件任务的总花费算。

智能体说做完了不算数：按后端最终状态评分、并看多次运行是否都对，能暴露平均成功率掩盖的大量静默失败。

生产检索已在数百亿向量上靠量化与 SSD 降本，新的开放嵌入模型把图文音放进同一空间；仍是让模型用上私有数据的默认做法。

被评测的智能体会去偷答案，改实现的智能体也会顺手改测试；评分标准、参考答案和实现必须由不同的权限持有。

开发套件允许把敏感工具声明为执行前必须确认，命令行工具能暂停等审批，清理代码的智能体动手前也要工程师先确认目标；高风险动作默认加这一道。

运行时开始默认带 OpenTelemetry 追踪，实验室公布了每个动作执行前都过在线监控的覆盖率与拦截率；但一次告警响了运行却没停，说明追踪之外还要有能自动生效的停止条件。

把选文件、跑工具、打包上下文交给确定的程序，只把判断交给智能体，能省下大部分 token 并让结果可复查；代价是召回可能变低。

Hold means: don't do this.

点赞量的是注意力、下载量的是依赖，两张榜前 25 名只重合一个；两天十万 star 的仓库也可能还没人真用。

Hold means: don't do this.

同一系列里分数最高的权重可能是不可商用许可，生态报告里的许可结论也被当场纠正过；用之前逐个模型核对许可。

Hold means: don't do this.

智能体按特性而不是增量输出，强行拆成堆叠 PR 技术上没错、业务上更糟；审查的对象应从行数换成影响半径。

Hold means: don't do this.

同一个基准的分数常在测别的东西，同一模型的得分随评测协议变化，领先最多的一项还可能是厂商自己命名的基准；不连同条件与第三方复测的分数不作为选型依据。