微软研究：把物理 AI 推理卸载出机器人可提升任务表现与续航

Two images showing the robot performing the same task of handing over a tape from one robot arm to another. The videos show that while the task succeeds when the inference latency is low, the handover fails with high inference latency as is the case with onboard robot GPUs.

概览

挑战机器人 AI 的一个核心假设：我们的研究表明，将物理 AI 推理完全放在机器人板载 GPU 上运行会限制机器人的性能、电池寿命和可扩展性，而将推理卸载到边缘或云端 GPU 则可带来显著优势。
展示推理卸载的可量化收益：在具有代表性的移动操作工作负载中，卸载提高了任务成功率，使更大规模的 AI 模型得以运行，并帮助机器人在动态的真实环境中更有效地响应。
延长机器人运行时间：用轻量级板载硬件加远程推理替代高功耗的板载 AI 计算，可大幅提升电池寿命，让机器人在两次充电之间运行更久。
在 Physical AI Toolchain 中引入一项新能力：开发者现在可以使用基于 Kubernetes 的工具，将机器人 AI 工作负载容器化、部署并编排到机器人、边缘基础设施和云端，实现分布式推理。

随时可用的物理 AI——由机器人辅助用户在制造、家庭和仓库场景中完成任务——在广泛的任务中具有提升安全性、生产力和辅助能力的巨大潜力。在许多方面，面向物理世界的 AI 代表着 AI 的一大前沿。物理 AI 必须在开放且不可预测的环境中运行，与机器人及人交互，并适配多种具身形态。实现这一愿景需要在三个维度上取得进展：机器人硬件、具身 AI 模型，以及用于训练和推理的系统基础设施。尽管近年来机器人硬件和 AI 模型发展迅速，我们将关注点转向一个相对较少被涉及的方面：物理 AI 的推理基础设施。要让机器人有效且安全地在物理世界中运行，需要复杂的系统来处理大量分布式推理计算。

如今，物理 AI 的主流做法是在机器人板载配置一块 GPU，例如将 GPU 连接到机器人上。在这种模式下，机器人的推理被限制在板载 GPU 上，由其为机器人提供执行任务所需的分块动作及其序列。虽然高层规划可能在云端完成，但任务执行通常仍与机器人自身绑定。我们挑战这一假设。随着物理 AI 模型的规模和复杂度不断增长，板载计算的局限性日益明显。GPU 功耗显著，会缩短电池寿命、增加成本和重量，并可能限制运行最新一代 AI 模型的能力。

为了更好地理解物理 AI 在系统层面的影响，我们开展了首个针对机器人工作负载的系统性研究。我们聚焦于移动机器人操作，其典型任务如“检查厨房里是否有垃圾并将其放入垃圾桶”。此类任务涉及规划前往厨房的路径、感知环境以找到垃圾、导航到垃圾处、捡起垃圾，再导航回垃圾桶进行丢弃。我们评估了在三大核心能力上的代表性模型：语义建图与规划、导航和操作，如图 2 所示。

Mobile robotic manipulation involves the components of semantic mapping & planning, manipulation, and safe navigation. The table above lists the state-of-the-art models used for each of these components in our measurement study. — 图 2：用于移动操作不同组件的模型详情。

将物理 AI 推理从机器人中卸载出去，改善了其响应时间和准确性，同时延长了电池寿命并降低了成本。我们在多种机载、边缘和云算力配置下评估了推理模型。具体测试硬件的详情请见我们的技术报告。

Diagram showing that offloading Physical AI inference from robots improves performance, battery efficiency, and cost.

任务性能方面的收益：我们的评估表明，卸载推理可以显著提升机器人在建图、规划、导航和操作等工作负载中的性能。一些较小的 GPU 无法容纳移动操作栈。在内存充足的 GPU 上，建图和规划相比 A100 最多减慢 383%，从而限制了机器人在动态空间中的能力。使用较轻量 GPU 时，导航对障碍物的及时检测能力下降了 30%。虽然 VLA 模型在较小 GPU 上并未大幅变慢，但速度的下降仍足以使其准确性下降 50%。换言之，机载 GPU 限制了机器人的性能，而将推理卸载到本地或云端 GPU 则可提升其运行表现，如下方视频所示，并在图表中量化呈现。随着物理 AI 模型的规模和复杂度不断增长，卸载带来的收益可能会更加显著。

图 3a：视频展示了使用机载 GPU 时的交接任务。

图 3b：视频展示了将推理卸载后交接任务的表现。

Robots can support GPUs such as Jetson Nano and Orin AGX onboard. The graphs above show that the success rate of object handover and navigation are low with onboard GPUs, but increase substantially with beefier GPUs when offloaded such as Jetson Thor and A100. — 图 4：使用不同 GPU（部分机载，部分卸载）执行推理时，机械臂相互交接物体的成功率。卸载提高了成功率。

电池寿命方面的收益：除了性能之外，机载 GPU 还会显著消耗机器人的电池寿命。我们通过将机载 GPU 替换为 Raspberry Pi-5 板卡并将所有数据发送到卸载 GPU，比较了电池寿命的提升。较大的机载 GPU（如 Jetson Thor）即使在较大的机器人上，也会使机器人电池消耗增加高达 160%（即几个小时）。

Battery lifetime of the Stretch-3 robot can improve by over 100% when their GPU inference is offloaded out of the robot. — 图 5：卸载 GPU 推理对机器人电池寿命的影响；以上数据来自 Stretch-3 机器人。

上述结果表明，将 GPU 推理从机器人中卸载出去，对于在开放世界中使用大模型并保持长电池寿命至关重要。尽管如此，将推理卸载出机器人涉及性能、网络延迟和带宽以及可用 GPU 资源之间的复杂权衡。我们相信我们的测量研究将为物理 AI 推理系统的设计提供参考。

自动卸载工具集

我们构建了一个工具集，可轻松将推理从机器人中卸载出去，并在边缘 GPU 和云端之间分配推理。Kubernetes 是提供统一抽象的自然平台，用于在机器人算力、边缘 GPU 之间分配机器人 AI，并溢出到云端。该工具集允许使用声明式规范自动容器化并卸载机器人工作负载，使用 Kubernetes 以智能策略分发物理 AI 容器，并与机器人模拟器、LeRobot 和 ROS2 集成以便于开发。下面的步骤序列展示了如何向该工具集提示要卸载的内容，以及它如何为 GPU 推理创建单独的容器并进行卸载。

Toolset to make offloading of physical AI inference easy by automatically generating a container for GPU inference and deploying it using Kubernetes to the machine with GPU. — 图 6：卸载工具集中容器化和部署的步骤。

Microsoft 最近发布了 Physical AI Toolchain（在新标签页中打开），用于大规模实现物理智能的运营化。Physical AI Toolchain 是一个开源、可投入生产的框架，它将 Microsoft Azure（在新标签页中打开）云服务与 NVIDIA 的（在新标签页中打开）物理 AI 技术栈集成在一起，加速机器人和物理 AI 开发者跨感知、移动、模仿学习和强化学习流水线，实现数据整理、增强和评估的自动化与规模化。我们宣布在 Physical AI Toolchain 中新增一项业界首创的能力，即为机器人提供卸载式物理 AI 推理。本次发布包含用于卸载 SO-101 和 UR10e 推理的示例项目。下面的视频展示了将Microsoft 的 Rho 模型（面向双臂机器人）的推理卸载到 Jetson Thor GPU，从而控制 Mobile Aloha 机器人（在新标签页中打开）的动作。

图 7a：卸载 Microsoft 的 Rho 模型的 GPU 推理，控制 Mobile Aloha 机器人与 BusyBox 交互，按下蓝色按钮。

图 7b：卸载 Microsoft 的 Rho 模型的 GPU 推理，控制 Mobile Aloha 机器人与 BusyBox 交互，将旋钮转到位置 4。

查看推理卸载功能，研究源代码，并告诉我们你的反馈。我们已经用许多真实世界的用例对其进行了测试，期待听到你的部署经验。

在新标签页中打开

文章面向真实世界物理 AI 机器人的卸载式推理首次出现在 Microsoft Research。