Model · 2026-08-12

Putting sign language AI into users' hands

Google DeepMind introduced SL2T, a massively multilingual sign-language-to-text model now shipping in Gboard dictation and Live Transcribe on Pixel 11, starting with ASL to English.

Google DeepMind Blog2026-08-12About 3 min readWorth tracking

Marked as a signal by the editors; worth tracking.

MultimodalOn-device AI
On this page12 sections

The full write-up and the editors' notes are in Chinese; the summary above is from the original announcement.

Record

The signal

#

被漏掉的那一层

过去几十年里,AI 处理口语的能力突飞猛进——自动翻译、听写、对话界面,对听人来说已经顺畅到几乎无感。

但这场技术革命没有到达世界上 200 多种手语,以及估计 7000 万使用它们的聋人与听力障碍者。

发布了什么

SL2T 是一个大规模多语的手语转文字翻译模型,官方称其在质量与通用性上是一次突破。真正的新意在后半句:手语 AI 第一次从实验室进入消费产品。

  • Gboard 的手语听写:像听人用语音听写代替打字一样,聋人用户可以在任何原本需要打字的地方打手语——搜索、起草消息或文档、让 Gemini 执行任务
  • Live Transcribe:对话中可以直接用手语回应,而不必来回打字
  • 起点是美国手语(ASL)转英文,运行在 Pixel 11 上,更多设备与语言在后面

据其测试者反馈,用 ASL 打手语比用英文打字更快、更自然。

为什么这条对非无障碍方向的人也有意义

它是「多模态到底有没有用」这个问题的一个硬答案:不是让模型多看懂一种输入,而是让一整类此前无法使用某个界面的人开始能用。

原文特意点出一件事:手语是聋人社群的第一语言,也是聋人文化认同的基石;而聋人群体在手语、口语、读写各方面的熟练程度差异很大,所以各种模态的可及性都要支持,不能假设「会读写就够了」。

它也说明了进展慢的原因不只是技术难:关于手语本身如何运作,存在广泛的误解——比如把手语当成口语的逐词手势编码,而不是有自己语法的独立语言。

边界

这是一次产品发布,博客文章没有给出模型的量化评测数字。所以这条信号能说的是覆盖面与可用性上的进展,不是效果量。首发范围也很窄:一种手语、一种目标语言、一款手机。

Why now

Why it matters

#

多模态的价值第一次以「让一整类此前用不了这个界面的人开始能用」的形式落地,而不是「模型又多看懂一种输入」。这是可及性,不是能力表演。

Background

Technical context

#

SL2T 为大规模多语手语转文字翻译模型,驱动 Pixel 11 上 Gboard 的手语听写与 Live Transcribe 的手语回应功能,首发为美国手语转英文。全球有 200 余种手语、约 7000 万聋人及听力障碍者使用。

At your level

Have AI explain this signal at your level

Pick your level of experience and AI writes an explanation for it on the spot.

Audience

Who should care

#
做多模态输入产品的团队关心可及性如何从研究走到产品的人在评估多模态投入产出的技术决策者
Areas it may affect
无障碍与可及性多模态输入端侧模型应用聋人社群的沟通工具

Next

Learning path

#
  1. 先看它解决的是覆盖面问题而不是精度问题,这决定了该用什么指标衡量它
  2. 注意「手语是有自身语法的独立语言」这一点,它解释了为什么这个方向进展慢
  3. 再看首发范围有多窄,判断从一种手语到多种手语的距离

Getting started

Have AI draft a learning path

From the related knowledge and skills on this page, AI drafts a path from the basics to applying it.

Network

Where it sits in the network

#

How this signal connects to neighbouring technologies, skills and background knowledge. Follow any link to keep exploring.

Comparison

Compare with another technology

Pick another published technology and AI writes a comparison of what they share, how they differ and when to use each.

Further thought

Follow-up questions

#
  • SL2T 的翻译质量有没有可比的量化指标?
  • 从 ASL 扩展到其他手语,需要多少标注数据?
  • 模型跑在端侧还是云端,对隐私和延迟各意味着什么?

Publication record

Featured in

#

The briefings that carried this signal, newest first; the last row is the weekly review of its week. The tag is the section it ran in.

Sources

Google DeepMind Blog

Google DeepMindBig tech2026-08-12
Open original sourcehttps://deepmind.google/blog/putting-sign-language-ai-into-users-hands/