Google DeepMind 发布多语种手语转文本模型 SL2T，首发 Gboard 与 Live Transcribe

2026年8月12日模型

Google DeepMind 手语团队

隆重推出 sign-language-to-text（SL2T），这是我们突破性的模型，为失聪及听障用户带来全新的手语功能。

近几十年来，AI 处理口语的能力飞速提升，实现了自动翻译、听写和对话界面，让健听用户感到轻松自如。然而，这场技术革命并未触及全球 200 多种手语——以及估计约 7000 万使用这些手语的失聪及听障人士。

今天，我们推出了一款大规模多语言 sign-language-to-text（SL2T）翻译模型，在质量和通用性上标志着一次突破。借助它，我们首次将手语 AI 从实验室带入消费产品：SL2T 为 Pixel 11 上的 Gboard 和 Live Transcribe 提供手语转文字听写功能，首批支持美国手语（ASL）转英语。更多设备即将支持，更多语言也将陆续加入。

与健听用户可以用听写代替打字类似，这项功能让失聪用户在任何通常需要打字的地方，直接用手语对着手机表达。你可以用手语搜索网页、起草消息或文档，还可以让 Gemini 解答问题或执行任务。在 Live Transcribe 中，你可以在对话中用手语回应，而不必来回打字。据我们的测试者反馈，用美国手语打手语比用英语打字更快、更自然，也更令人愉悦。

由 SL2T 驱动的手语转文字功能，让用户在任何通常需要打字的地方，直接用手语对着手机表达。

手语为何重要

手语是世界各地失聪群体的主要语言，也是失聪文化认同的基石。失聪人士在手语、口语、阅读和写作方面的熟练程度差异很大，因此以各种方式提供支持非常重要。失聪人士可以从手语处理中获益，就像健听人士从口语处理中获益一样；此外，这项技术还为弥合失聪群体与健听群体之间的沟通鸿沟开辟了新的可能。尽管这项技术有望带来积极的社会影响，但手语 AI 的进展一直缓慢——这既是因为构建手语 AI 面临复杂挑战，也是因为人们对手语本身如何运作存在普遍误解。

与口语转写相比，手语翻译面临两个核心挑战。首先，转写语音是在同一语言内完成从声音到文本的顺序映射，而手语是独立的自然语言，拥有各自独特的语法和词汇。因此，它们需要真正的机器翻译，而非手语到词语的顺序转换过程。其次，模型必须学会“看见”并理解肢体动作。手语通过手、手臂、躯干、头部和面部的同步运动来传达意义。以高帧率准确追踪这些动作是一项困难且计算量巨大的计算机视觉任务。

在这样的背景下，就不难理解为什么一些早期的手语技术尝试，比如手语手套，存在根本性的局限：手语并不仅仅是“手上的英语”。它们需要对精细的全身动作进行复杂的视觉感知，并进行完整的语言翻译。SL2T 的设计目标就是同时实现这两点。

SL2T 将手语输入视为手语者身体上的点，并将其翻译为流式文本输出。示例来自 FLEURS-ASL 基准测试。

SL2T 的工作原理

我们构建 SL2T 时，将用户为中心、具有文化意识的理念与大规模数据扩展相结合。该模型在超过 50 种手语、逾 100,000 小时的数据上进行训练——其中约四分之一的数据是 ASL。在多种语言、方言和熟练程度上进行联合训练，使模型学习到共享的底层结构，在我们的实验中表现优于单语言模型。

为了保护用户隐私，SL2T 将手语视为姿态关键点位置的序列，而不是原始摄像头画面。设备端模型（MediaPipe Holistic）跟踪手语者身体上各点的位置，只有这些几何坐标会被发送到服务器进行翻译，原始视频可以立即丢弃。

SL2T 将这个坐标序列直接翻译成文本，绕过了此前手语翻译研究中广泛使用的被称为“glosses”的中间标注。Glosses 无法捕捉手语中丰富的非线性方面，例如非手动标记和空间构式。直接从关键点翻译消除了人为的词汇限制，并使翻译质量能够随数据直接扩展。

根据 FLEURS-ASL（sd-test）等评估 ASL 到英语翻译质量的关键基准，SL2T 是迄今为止能力最强的手语翻译模型。SL2T 取得了令人瞩目的 70 BLEURT 零样本得分，显著高于此前报告的任何得分。但仅优化学术基准并不能保证在实际应用中的可用性，因此我们在一些实际问题上付出了大量努力，例如尽量降低流式延迟、防止在非手语输入上产生幻觉、确保占手语者 10% 的左利手用户的公平性，以及提升单手打手语时的表现——这种情况出现在另一只手拿着智能手机时。

Original English	SL2T 的 ASL → 英语输出
The Cook Islands do not have any cities but are composed of 15 different islands. The main ones are Rarotonga and Aitutaki.	The Cook Islands have no cities and consist of 15 islands. The two main islands are Rarotonga and Aitutaki.
The games kicked off at 10:00am with great weather and apart from mid morning drizzle which quickly cleared up, it was a perfect day for 7's rugby.	Games start at 10 a.m. in great weather. There is a light rain in the morning that clears up. It's a perfect day for 7v7 rugby.
In some federal countries, such as the United States and Canada, income tax is levied both at the federal level and at the local level, so the rates and brackets can vary from region to region.	In some federal countries, like the US and Canada, income tax is collected at both the federal and local levels. This means that the rates and brackets vary depending on your region.
This fully feathered, warm blooded bird of prey was believed to have walked upright on two legs with claws like the Velociraptor.	这种生物是温血动物，吃灰色食物，全身覆盖羽毛。据信它像迅猛龙一样用两条腿行走。
也许有一天，你的曾孙辈会站在一个外星世界上，好奇地思索他们的远古祖先？	也许有一天，你的曾孙辈会站在一个外星世界上，追忆他们的祖先。

FLEURS-ASL 基准测试中的示例。SL2T 能够将复杂的 ASL 准确翻译成流利的英语。在罕见手语、快速手指拼写（"prey" → "grey"）、被动结构、分类词描述（漏译 "claws"）以及缺乏上下文的时态（"kicked off" → "start"）方面，仍偶有错误。

与社区共同构建

我们坚信要与聋人社区共同构建，而不仅仅是为他们构建。聋人的视角塑造了这个项目的每一个阶段——从身为 Google 聋人员工的 Sam Sepah 进行概念构思，到与聋人合作伙伴共同收集数据、在聋人用户研究中进行评估，以及与聋人专家一起评估该技术的影响。

为引导负责任的现实世界部署，我们成立了 AI 手语咨询委员会（AISLAC），汇聚了众多全球聋人组织和领域专家。通过这种参与式治理模式，受我们技术影响最深的社区可以直接影响我们的开发优先级。我们共同撰写了一份联合影响报告，用于 SL2T 1.0 在 Gboard 和 Live Transcribe 中的发布，透明地详述了该技术的能力和当前局限——我们计划在所有重大手语发布中延续这种协作方式。

展望未来

SL2T 建立在学术界和业界数十年的基础研究之上，但将 ASL 输入带到用户手机上仅仅是开始。Google 的使命是整合全球信息，使人人皆可访问并从中受益。实现无障碍普及意味着要达到与口语和书面语言完全对等的水平。我们的团队正致力于将该技术扩展到更多手语、手语生成以及前沿 AI 能力。我们期待以负责任的方式分享我们的进展，让通过手语获取信息成为整个数字领域的标准。

你可以在 Pixel 11 上率先通过 Gboard 和 Live Transcribe 体验 SL2T，更多设备即将支持——且全部免费。

致谢

这项工作由 Google DeepMind 和 Android 的团队共同完成。开发 SL2T 模型的核心团队包括：Garrett Tanzer、Benoit Brard、Elizabeth Clark、Tim Dozat、Sebastian Ebert、Dan Garrette、Manfred Georg、Vicky Holgate、Shankar Kumar、Mohammad Saboorian、Miloš Stanojević、Megh Umekar、John Wieting、Andy Zhang 和 Chris Dyer。

将该模型集成到 Gboard 和 Live Transcribe 的 Android 团队包括：Ausmus Chang、Sai Aditya Chitturu、Dayle Chiu、Anna Chou、Ajay Dudani、Angana Ghosh、Alex Huang、Joanne Kim、Ed Lee、Thomas Lin、James Su、Yanchao Su 和 Sharlene Yuan。

我们感谢 Anelia Angelova、Abhishek Bapna、Sara Basson、Glenn Cameron、Scott Crowell、Trevor Cohn、Noah Fiedel、Zoubin Ghahramani、Raia Hadsell、Tom Hudson、Alexander Hauerslev Jensen、Kazuya Kawakami、Phoebe Kirk、Peike Li、Liam McCafferty、Caroline Pantofaru、Abhinav Parashar、Christopher Patnoe、Laura Rimell、Sagar Savla、Sam Sepah、Thad Starner、Dave Uthus 和 Biao Zhang 提供的额外支持。

我们还要感谢 MediaPipe Holistic（Google AI Edge）团队：Ivan Grishchenko、Artsiom Ablavatski、Valentin Bazarevsky、Esha Uboweja、George Sung、Jonathan Baccash、Gregory Karpiak、Sebastian Schmidt、Suril Shah、Raman Sarokin 和 Juhyun Lee。

也非常感谢参与我们模型早期阶段测试的各位。