Google DeepMind 发布 Gemini Robotics 2
Gemini Robotics 2 brings whole body intelligence to robots
Google DeepMind 发布 Gemini Robotics 2,通过 VLA 模型、具身推理模型 Gemini Robotics ER 2 和端侧模型 Gemini Robotics On-Device 2 三个模型,实现人形机器人全身控制、灵巧操作与多机器人协作。
原文给出三个模型的职责分工与开放入口,读者可据此判断机器人智能层在全身控制与本地部署上的实际进展。
2026年7月30日 模型
Carolina Parada
从脚到指尖——我们正在教机器人智能的全身控制、精细灵巧操作和团队协作,以完成各种复杂任务
几十年来,我们一直梦想着机器人能够无缝踏入我们的世界并伸出援手。如今,这一愿景迈出了重要一步。
大多数机器人都是预先编程或远程操控的,只能执行狭窄、重复的任务序列。它们缺乏真正自主学习或适应不可预测环境的能力。此外,将学到的技能从一个机器人本体迁移到另一个机器人本体仍然极其困难。为了大规模应对最艰难的问题,各种形状和尺寸的机器人都需要AI模型,赋予它们智能思考、行动和交互的能力,以安全完成任务。
我们曾展示了Gemini的多模态理解能力如何通过Gemini Robotics驱动现实世界的行动。今天,我们推出Gemini Robotics 2——为下一代真正具有适应性的机器人提供动力的智能层。在它迈出真正意义上的第一步的同时,这一重大进展解锁了智能全身控制、先进灵巧操作和多机器人协作能力。
Gemini Robotics 2使机器人能够对每一个动作进行推理,解锁广泛的任务。例如,它可以让一个人形机器人行走、蹲下、伸展和操作物体,以清理杂乱的房间。它甚至可以与其他机器人组队,更快地完成任务。而这种强大的智能还可以在设备本地运行,同时在短短几小时内无缝适应全新的机器人本体。
我们通过三个能力强大的模型实现了这一点:
- Gemini Robotics 2:我们最先进的视觉-语言-动作模型(VLA),将视觉和语言输入转化为运动控制,使机器人能够采取行动。该模型能够控制完整的人形机器人,从脚到指尖,以及其他双臂机器人。它还在双手和夹爪上带来了全新水平的灵巧操作能力。
- Gemini Robotics ER 2:我们能力最强的具身推理(ER)模型。它是一个视觉语言模型(VLM),充当我们的智能体,使机器人能够与人类交流、理解物理世界并规划持续数分钟的多步骤任务。我们还引入了机器人作为团队协同工作的能力。
- Gemini Robotics On-Device 2:我们最高效的视觉-语言-动作模型(VLA),针对在机器人设备上本地运行进行了优化。该模型现在能够通过几小时的数据快速适应全新的机器人本体。
Gemini Robotics ER 2,我们的推理模型,现已在Google AI Studio上提供,并在Gemini Enterprise Agent Platform上开放私密预览。我们的VLA和On-Device模型已向早期访问合作伙伴开放。请阅读我们的开发者博客,了解如何将这些模型引入你的硬件。
运动中的人形机器人:管理全身任务
世界是为人类的运动方式而建造的;它要求我们在狭窄、杂乱的空间中伸手、弯腰和保持平衡。虽然我们之前的模型控制人形机器人的上半身来完成桌面任务,但Gemini Robotics 2将物理AI扩展到了全身运动。
我们的模型如今首次能够控制整个人形机器人,将意图转化为智能的全身控制。例如,在控制 Apptronik 的 Apollo 2 人形机器人时,我们可以让它“把浇水壶放进底层架子上的绿色箱子里”。Apollo 处理指令,走到桌边,拿起浇水壶,走几步到架子前,将其精准放入目标位置。虽然我们的机器人在移动速度上还有待提升,但这是朝着完成更复杂、需要全身协调的真实世界任务所需技能迈出的重要一步。
为手部和夹爪带来高级灵巧性
要在我们的家庭和工作场所中真正发挥作用,机器人需要精细操作能力。Gemini Robotics 2 在不同末端执行器上解锁了全新的物理灵巧水平,无论机器人使用的是手还是夹爪,都能让机器人比以往更有用。
该模型现在可以控制 Apollo 2 机器人上五指、22 自由度的 SharpaWave 手,完成打结或封口自封袋等精细动作。它还能操作 Franka Duo 平台上的标准两指平行夹爪,执行复杂的灵巧任务(例如紧密包装)。我们正在继续提升精度和速度,以实现人类级别的灵巧性。
通过智能体推理和多机器人协作解锁高级任务
大多数真实世界任务需要在较长时间内完成多个步骤。为了应对这种复杂性,我们的具身推理(ER)模型 Gemini Robotics ER 2 充当机器人的高级大脑,处理用户指令并与人类沟通。它观察房间,推理完成任务所需的步骤,与 VLA 协调执行动作,并跟踪进度直到任务完成。这一设置使机器人能够执行复杂的多步骤任务,在某一步失败时自我纠正,并泛化到新情境和新目标。
在本次更新中,我们使机器人能够更可靠地执行更长任务序列,持续数分钟并涉及数百个决策。Gemini Robotics ER 2 现在能够理解任务何时开始和结束,并能精确定位关键事件发生的时刻,这标志着进度理解能力的阶跃式提升。
此外,我们正在引入多机器人协作。这使不同类型的机器人能够通信并协同工作,解决单个机器人无法独自完成的复杂工作流。
为任何机器人快速适配设备端模型
许多机器人应用需要在没有网络延迟或互联网连接的情况下运行。Gemini Robotics On-Device 2 正是为应对这些限制而构建——它是我们最高效的视觉-语言-动作模型(VLA),经过优化可在机器人设备上本地运行。
该模型原生支持多具身形态,并继承了来自 Gemini Robotics 1.5 的先进“运动迁移”技术。我们现在只需几个小时的适配时间、通常少于 200 个示例,就能适配新的双臂机器人具身形态。即使面对形状、传感器和自由度截然不同的新具身形态,这一方法也同样有效,如下所示,Dexmate、SO101 和 Trossen 平台正在执行各种不同的任务。
推进我们对安全、负责任机器人技术的承诺
安全性是我们机器人研究的基石。随着机器人获得更多物理能力,我们致力于确保端到端的安全与对齐。在每一次发布中,我们都采取多层方法,将传统的物理安全措施与强大的 AI 安全框架相结合。
Gemini Robotics 2 专门提升了机器人安全性,以应对现实世界的不确定性并与人类协同工作。
我们推出 ASIMOV-Agentic,这是一个用于智能体安全编排和不确定性解决的新基准。例如,它衡量具身推理智能体拒绝来自 VLA 的不安全工具调用的能力。它还衡量智能体预测任务是否可行,并在不确定时主动请求人工干预的能力。
此外,凭借增强的具身推理,Gemini Robotics ER 2 是我们在安全约束遵循和人类接近基准方面迄今为止最安全的机器人模型。它能更好地检测人类何时在附近,触发安全工具调用,并在有人过于靠近时将机器人安全停下。这是协作安全标准中的一项关键要求。阅读我们的 Gemini Robotics 2:安全技术报告 了解更多详情。
迈向通用物理 AI
Gemini Robotics 2 是在物理世界中解决 AGI 道路上的一个重要里程碑。释放机器人的真正潜力需要从单一任务自动化迈向通用智能。通过构建这一核心智能,我们的目标是使物理世界中的 AI 能够与人类并肩工作,解决复杂挑战。
探索 Gemini Robotics 2
致谢
本工作由 Gemini Robotics 团队开发:Abhijit Ogale, Abhishek Jindal, Adil Dostmohamed, Adrian Collister, Alan Thompson, Alessio Quaglino, Alex Bewley, Alex Hofer, Alex Taeho Kim, Alex X. Lee, Alex Zihao Zhu, Allen Chai, Amaris Paryag, Amit Hampaul, Amy Nommeots-Nomm, Amy Shen, Andre Araujo, Andrew Gallagher, Anirudha Majumdar, Anna Volosina, Annie S. Chen, Annie Xie, Anthony Brohan, Antoine Laurens, Arunkumar Byravan, Asaf Revach, Assaf Hurwitz Michaely, Baruch Tabanpour, Ben Moran, Benoit Landry, Bingyi Cao, Bogdan Mazoure, Brandon Hernaez, Brijen Thananjeyan, Bryan Anenberg, Caden Lu, Carl Doersch, Carolina Parada, Caroline Pantofaru, Charles Shu, Chengda Wu, Christine Chan, Christy Koh, Chuyuan Fu, Claire Cui, Clare Lee, Claudio Fantacci, Connor Schenck, David Rendleman, Deepali Jain, Demetra Brady, Dennis Li, Dhruv Shah, Dimple Vijaykumar, Dirk Ehrlich, Divya Garikapati, Dmitry Kalashnikov, Dre Mahaarachchi, Dushyant Rao, Erik Frey, Fangchen Liu, Federico Casarini, Francesco Nori, Francesco Romano, Frankie Garcia, Gabor Simko, Gautam Salhotra, Giulia Vezzani, Grace Popple, Grace Vesom, Graziano Misuraca, Guangyao Zhou, Hagen Soltau, Hanzi Mao, Hao-Tien Lewis Chiang, Harris Chan, Hila Noga, Howard Zhou, Ian Storz, Idan Lev-Yehudi, Ignacio Rocco, Inessa Konstanz, Isaac Reid, Ishita Prasad, Ivan Kapelyukh, J. Chase Kew, Jacky Liang, Jake Varley, James Susilo, Jasmine Hsu, Jerad Kirkland, Jeremy Plassmann, Jessica Lo, Jie Tan, Jimmy Yan, Jingwei Zhang, Jinyu Xie, Jose Enrique Chen, Joshua Ainslie, Joss Moore, Juanita Bawagan, Junkyung Kim, Justin Lidard, Kanishka Rao, Kathryn Quinn Shea, Kaustubh Sridhar, Keerthana Gopalakrishnan, Ken Caluwaerts, Kenneth Oslund, Khimya Khetarpal, Konstantinos Bousmalis, Krista Reymann, Krzysztof Choromanski, Ksenia Konyushkova, Kun Zhang, Kunal Aneja, Laura Graesser, Leen Verburgh, Leonard Hasenclever, Li-Heng Lin, London Chappellet-Volpini, Lucie Kerley, Maria Attarian, Maria Bauza Villalonga, Marissa Giustina, Max McCabe, Meet Kirankumar Dave, Mehdi S. M. Sajjadi, Metin Tokosz-Exley, Michael Neunert, Michael Noseworthy, Michiel Blokzijl, Miguel Rivas, Mithun George Jacob, Mitsuhiko Nakamoto, Mo Dawoud, Mohan Kumar Srirama, Mohit Sharma, Mohit Shridhar, Muinat Abdul, Murilo F. Martins, Nadav Olmert, Nathan Batchelor, Nicolas Heess, Niko Milonopoulos, Norman Di Palo, Oliver Groth, Ouais Alsharif, Padmini Copparapu, Parth Parekh, Paul Ruiz, Paul Wohlhart, Peide Huang, Peng Xu, Pengfei Xing, Peter Pastor, Petko Yotov, Phil Duffy, Philemon Brakel, Rachel Sterneck, Rajkumar Vasudeva Raju, Ravin Kumar, Razvan Surdulescu, René Wagner, Reza Sanatinia, Robert Baruch, Robert McDonald, Robert Moreno, Rohan Thakker, Roland Hafner, Ryan Doss, Sajjad Zafar, Sally Jesmonth, Sam Haves, Saminda Abeyruwan, Sandy Han Huang, Scott Crowell, Seliem El-Sayed, Sergey Yaroshenko, Sergio Martinez Abad, Serkan Cabi, Sharath Maddineni, Shuang Li, Sichun Xu, Silvia Cruciani, Skanda Koppula, Skye Yang, Soo Sung, Stefan Welker, Stefani Karp, Stefano Saliceti, Steven Hansen, Stuart Bowers, Sumeet Singh, Svetlana Grant, Takahiro Miki, Takuma Yoneda, Thomas Buschmann, Thomas Lampe, Thomas Power, Thor Schaeff, Tim Hertweck, Tingnan Zhang, Todd McInally, Todor Davchev, Tong Zhao, Travers Rhodes, Tsang-Wei Edward Lee, Vika Koriakin, Vikas Sindhwani, Wenhao Yu, Wentao Yuan, Xiaolin Fang, Yahav Nussbaum, Ying Sheng, Ying Xu, Yuheng Kuang, Yuxiang Yang, Yuxiang Zhou
感谢以下人士对这一工作的领导和支持:Jean-Baptiste Alayrac、Zoubin Ghahramani、Koray Kavukcuoglu 和 Demis Hassabis。我们要感谢 Google 和 Google DeepMind 中为此工作做出贡献的众多团队,包括法务、市场、传播、责任与安全委员会、负责任开发与创新、政策、战略与运营,以及我们的商业与企业开发团队。我们要感谢机器人团队中上面未明确提及的所有人,感谢他们持续的支持和指导。最后,我们要感谢我们的合作伙伴:Apptronik、Boston Dynamics 和 Agile Robots 团队的支持。
来源:Google DeepMind · deepmind.google