主题聚合
多模态
结合文本、图像、语音或浏览器操作的界面。
跟进此话题
站内关注 · 站外订阅话题图谱
16 个节点 · 43 条连接- 本话题的内容
- 话题外的邻居
- 渊源 · 续作 · 延伸
- 必备 · 借助
- 释义 · 印证
已发布技术信号
17 条Meta 开源 Muse Spark Open：816B 多模态 MoE
Meta 发布开放权重模型 Muse Spark Open，总参数约 8160 亿、每 token 激活约 420 亿，采用 256 选 8 的 MoE 路由，支持文本、图像、音频、视频输入与最长 100 万 token 上下文，提供 BF16 与面向 NVIDIA Blackwell 的 NVFP4 两种 checkpoint，面向智能体编码任务训练。
何恺明团队 VISTA：让模型回看原始画面，打满 ARC-AGI-3
MIT 何恺明团队的 VISTA 是一套视觉原生的智能体外壳：环境返回的每一帧都原样存档，模型推理时可以按需调回、放大、并排对比，基础模型不用重新训练。配上 Claude Opus 5.0，ARC-AGI-3 的 25 个公开游戏全部通关，相对人类动作效率得满分 100，比人类首次游玩的基线少用 57.4% 的动作。
谷歌开放新嵌入模型：图片音频文字同一个空间
Google 10 月 6 日发布开放权重的 EmbeddingGemma 2：基于 Gemma 4，共 740M 参数，文字、图片、音频、视频与代码嵌入同一个空间，视觉与音频编码器可选，只处理文字时只需 270M。上下文 8K，是上一代的 4 倍。代码检索 MTEB 从 68.76 升到 78.68，多语言文本几乎持平。
开源电脑操作模型 Holo4：最强款不能商用
法国 H 公司发布 Holo4 系列电脑操作智能体模型，权重公开：稠密的 27B 在 OSWorld 2.0 上拿到 61.7%，离 GPT-5.6 Sol 的 66.2% 只差 4.5 个点。但开源这件事要分开看——分数高的 27B 是 CC BY-NC 4.0（不可商用），Apache 2.0 的 35B-A3B 只有 30.9%。
LFM2.5-VL-DSpark：解码快三倍，整体受图像编码拖累
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布了一个实验性的推测解码草稿模型：多占 8.9% 的参数，解码在设备端最高快到 3.13 倍，输出与原模型完全一致。但端到端的提速只有 1.30 到 2.62 倍，原文自己解释了原因——推测解码只加速解码，图像编码和预填充不受影响，而这两段在端侧恰恰占了大头。
Gemini 3.8 Live 加上数字人：对话不停，工具在后台跑
Google DeepMind 在上周发布的 Gemini 3.8 Live 之上加了 Live Avatar：把接近实时的视频生成与语音对话原生结合，让对话模型带上一个会对口型、有表情、能轮流说话的形象。它可以在后台调用工具的同时继续对话，对话中途可在 97 种语言之间切换，所有输出带 SynthID 水印。目前只在 Gemini Enterprise 提供，自定义形象需要企业白名单。
Muse Glimmer 开源：30B 压进消费级显卡，报错不停下
Meta 发布 Muse Glimmer：300 亿参数、Apache 2.0 开放权重，专为常驻本地的智能体工作流设计。4 位动态量化把 55GB 以上的显存需求压到 17 至 20GB，配合 DFlash 推测解码在 M5 Max 与 RTX 5090 上把吞吐提到最多 3.1 倍。真正值得注意的不是尺寸，而是它把「工具调用失败之后怎么办」写进了训练目标：API 或终端命令报错时，模型诊断故障并另找路径，而不是终止执行。
Qwen3.8-27B 的第三方实测：模型很好，出厂默认值不好
本站昨天发这条模型时点名它所有对比都由厂商自跑，缺第三方的尺子。这就是那把尺子：同一道题，出厂默认档跑 21 分钟、烧掉 22,276 个思考 token 产出 3,223 token；关掉思考 137 秒完成。视觉定位很强，而真正的门槛是 15–30 token/秒的吞吐。
Qwen3.8-27B 开源：消费级显卡跑得动，尺子却是自己命名的
270 亿参数、原生多模态、262K 上下文可外推到 100 万，Apache 2.0，量化后一张 24GB 消费级显卡装得下——这一代 Qwen 把「本地跑得动的智能体」这条线又往前推了一格。榜单确实好看，但领先幅度最大的那一项跑在一把以厂商自己命名的基准上，而所有对比都由厂商自己完成。
SL2T：手语识别第一次离开实验室，进了输入法
Google DeepMind 发布大规模多语手语转文字模型 SL2T，并首次把手语 AI 装进消费级产品：Pixel 11 上的 Gboard 手语听写与 Live Transcribe，先支持美国手语转英文。全球有 200 多种手语、约 7000 万聋人及听力障碍者使用者，而这一层此前一直没被语音技术的进展覆盖到。
AMIE 实时视频问诊：把「医生还会看你一眼」那部分放进随机对照研究
Google Research 与 DeepMind 把医疗研究系统 AMIE 推进到实时视频问诊：基于 Gemini 与 Project Astra 的多智能体架构，能解读视觉与听觉线索、引导虚拟体格检查并实时进行诊断推理。在与全科医生对照的随机模拟研究中，临床评估者在多项核心能力上给出正面评价，患者演员也更偏好视频而非文字。
Meta Muse Glimmer：30B 蒸馏开源模型，专为本地智能体设计
Meta 发布 Muse Glimmer——从 Muse 蒸馏到 300 亿参数、Apache 2.0 许可的多模态模型，目标是本地跑的智能体。工具调用与检索类基准领先同级开源模型，但在桌面与终端操作上输给 Qwen3.6-27B；生态当天跟进，硬件支持却分了档。
Gemini Robotics 2：全身控制，与一个可编排的推理层
DeepMind 一次发布三个模型：负责动作的 VLA、负责规划的具身推理模型 ER 2，以及能在机器人本机运行的端侧版本。对这里的读者来说，值得看的不是机器人本身——ER 2 把 VLA 和导航 API 当作工具声明、用双向流接收视频、一边执行一边思考，是这个站点已经在跟踪的那套智能体架构换了一种执行器。真正的新东西是它开始能回答「这一步做完了没有」：时刻定位准确率 91.3%、平均误差 0.96 秒。ER 2 已经通过 Gemini API 公开可用，动作模型与端侧模型仍限早期合作伙伴。
NeMo Automodel 接入 Diffusers：任意扩散模型的规模化分布式微调
NVIDIA 与 Hugging Face 联合发布 NeMo Automodel 与 Diffusers 的集成：Hub 上任意 Diffusers 格式的扩散模型（FLUX、Wan、HunyuanVideo 等）无需权重转换、无需改写模型即可进行生产级分布式微调，从单卡平滑扩展到数百 GPU，Apache 2.0 开源。
Inkling：Thinking Machines 开源万亿参数多模态 MoE 模型
Thinking Machines 开源 Inkling：约 1 万亿总参数、41B 激活参数的 MoE 多模态模型，原生处理文本/图像/音频输入，支持 1M 上下文，训练数据覆盖 45 万亿 token 的文本、图像、音频与视频。发布即获得 Transformers、vLLM、SGLang、llama.cpp、Unsloth 的支持。
Real World VoiceEQ：衡量语音 AI「人性质量」的评测基准
Hume AI 发布 Real World VoiceEQ：一套衡量语音交互「人性质量」的评测基准，覆盖 40+ 语音模型、15+ 评测维度、60+ 指标，横跨 ASR/TTS/语音对话/语音理解四大类，底层是 100 万+ 条跨人群、跨声学环境的人工评分。
GPT-Live：OpenAI 新一代实时语音模型
OpenAI 发布新一代语音模型 GPT-Live，面向自然的人机语音交互，现已用于驱动 ChatGPT Voice。