Gemini 3.8 Live 加上数字人:对话不停,工具在后台跑
Google DeepMind 在上周发布的 Gemini 3.8 Live 之上加了 Live Avatar:把接近实时的视频生成与语音对话原生结合,让对话模型带上一个会对口型、有表情、能轮流说话的形象。它可以在后台调用工具的同时继续对话,对话中途可在 97 种语言之间切换,所有输出带 SynthID 水印。目前只在 Gemini Enterprise 提供,自定义形象需要企业白名单。
编辑标为重要,发布已满 30 天,从立即关注降到这一档。
本页目录12 节
记录
信号正文
#发布了什么
Live Avatar 是 Gemini 3.8 Live 的一项功能,不是一个新模型。它把接近实时的视频生成与语音配在一起,让原本只有声音的实时对话带上一个形象:口型对得上,有自然的表情,能流畅地轮流说话。Google 把它定位在企业场景,举的例子是客户服务和交互式讲解。
四项能力
- 同时看和听:对画面和声音的输入一并处理,再用带表情的音视频回应
- 后台调用工具:形象可以在后台发起工具调用、取数据,同时继续对话。演示的例子是给酒店客人办入住
- 多语言:原生的语音到语音同步,对话中途可在 97 种语言间切换,口型与表情随之调整。Google 称视频保真度不下降、画面不漂移
- 自定义形象:除了预置的形象库,企业可以用一张高质量参考图生成完整动画的形象,保留相貌、品牌风格或角色特征
限定条件
- 目前只在 Gemini Enterprise 提供
- 自定义形象只对进入企业白名单的客户开放
- 所有输出带 SynthID 水印,嵌在音频和视频里,肉眼和耳朵察觉不到
公告没有说的
公告没有给出延迟数字,用的是「接近实时」;没有给出价格;也没有说明工具调用在后台运行时,形象会怎样处理等待——是继续闲聊、明说正在查询,还是别的方式。这些恰好是判断它能不能上线的关键。
为什么放在这里
本站记过 GPT-Live 把实时语音做成了一个模型,也记过语音评测基准 VoiceEQ 怎样衡量语音交互里的「人味」。这一条是同一条线往前一步:实时对话开始带上脸。它也把一个老问题重新摆上桌面——后台调工具而不打断对话,意味着用户在听到结果之前,对话已经往前走了几句。
为什么是现在
为什么重要
#实时语音助手的体验已经被几家做到可用,下一步的差异在于能不能一边说话一边办事。把工具调用放到后台、让对话不中断,是交互设计上的一个明确选择,也带来新的问题:结果回来时,对话已经不在原处。
背景
技术背景
#实时对话模型直接处理和生成语音,不经过「转文字、生成、再合成」的三段流程,所以能保留语气并随时被打断。异步工具调用是指模型发起调用后不等结果就继续生成,结果到达后再并入对话。SynthID 是 Google 的水印技术,把标识嵌进生成内容本身。
关注人群
谁该关注
#下一步
学习路径
#- 先读本站 GPT-Live 那一条:实时语音模型与三段式流程差在哪里
- 读《副语言信号与语音交互》:语气、停顿和表情各自传递什么
- 读《交互系统中的延迟权衡》:多长的等待会让对话断掉
- 为你的场景列出工具调用的典型耗时,想一想这段时间里形象应该做什么
关系网络
在技术网络中的位置
#当前技术与相邻技术、技能和背景知识的连接,点击节点可继续探索。
延伸思考
后续问题
#- 工具调用需要几秒时,你希望形象在这段时间里做什么?
- 你的用户会不会因为对面有一张脸而期待更高的准确度?
- 合成形象需要向用户明示吗,你所在的地区有没有相关规定?
发布记录
收录于
#收录这条信号的技术简报,新的在前;最后一行是它那一周的周回顾。标签是它在那一期所在的栏目。
来源参考