AMIE, our research medical AI system, demonstrates real-time clinical video consultation capabilities in a first-of-its-kind study
Google Research and DeepMind advanced AMIE to real-time clinical video consultations using a multi-agent architecture on Gemini and Project Astra, evaluated favorably against primary care physicians in a randomized simulated study.
Marked as a signal by the editors; worth tracking.
On this page11 sections
The full write-up and the editors' notes are in Chinese; the summary above is from the original announcement.
Record
The signal
#它补的是问诊里「非文字」的那一半
一次看诊远不止对话:医生会注意到咳嗽、观察步态、留意可见的不适。此前的医疗对话系统基本都在文字通道里工作,而这些线索根本不进入通道。
AMIE 现在能解读视觉与听觉线索、引导虚拟体格检查,并在实时中进行诊断推理。架构是建立在 Gemini 与 Project Astra 之上的多智能体系统。
评估方式比结论更值得看
这是一项随机对照研究,用患者演员做模拟问诊,对照组是一组全科医生。临床评估者在几项核心临床能力上对 AMIE 给出正面评价:
- 病史采集的完整性
- 诊断准确性
- 处置恰当性
- 沟通质量
另有一项结果单独值得记:患者演员更偏好视频形式而非文字聊天。
为什么这条对非医疗读者也有用
它是「多模态是不是真的有用」这个问题少见的带对照组的回答。本站已有的多模态信号大多是能力发布,衡量的是模型能不能理解图像;这一条衡量的是在一个有既定专业标准的任务里,加入视觉与听觉通道之后表现是否更好,而且用的是别人也在用的评估维度,不是厂商自定义指标。
按《模型与输出评估》里那条判据:这把尺子量过别人——对照的是真实全科医生,评估者是临床专家。
边界,作者自己写明了
AMIE 仍是研究系统,在负责任地部署到真实临床之前还需要更多研究。而且必须说清楚两点:
- 患者是演员,问诊是模拟的。模拟问诊与真实门诊在信息完整度、患者依从性与风险分布上都不同。
- 博客文章没有给出具体数值,只给了「评估者评价正面」这一层结论;细节在 Google Research 的博客里。所以这条信号能说的是方法与方向,不是效果量。
Why now
Why it matters
#它是多模态少见的带对照组的评估:不是问模型能否看懂图像,而是问在一个有专业标准的任务里,加入视觉与听觉通道之后是不是真的更好。
Background
Technical context
#AMIE 建立在 Gemini 与 Project Astra 之上,采用多智能体架构,可解读视觉与听觉线索、引导虚拟体格检查并实时进行诊断推理。评估为随机对照的模拟问诊,对照组为全科医生。
Audience
Who should care
#Next
Learning path
#- 先看它的评估设计:随机、对照、专家评分、维度沿用既有临床标准
- 再看「患者演员」这个前提带来的外部效度限制
- 最后思考同样的对照设计能不能搬到你自己的多模态任务上
Network
Where it sits in the network
#How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.
Further thought
Follow-up questions
#- 正面评价的具体效果量是多少,与全科医生的差距在哪些维度?
- 模拟问诊的结论能在多大程度上外推到真实门诊?
- 多智能体架构里,哪一个智能体承担了视觉线索的解读?
Publication record
Featured in
#The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.
技术简报 - 2026-08-13
Worth trackingWeekly review · Aug 10 – Aug 16
Worth tracking
Sources