LeRobot v0.4.0 发布：数据集 v3.0、插件系统与 PI0.5、GR00T N1.5 集成

我们非常激动地宣布 LeRobot 在多个方面取得了一系列重大进展，旨在让开源机器人学习比以往任何时候都更强大、更具可扩展性且更易用！从全新改造的数据集到多功能的编辑工具、全新的仿真环境，以及突破性的硬件插件系统，LeRobot 持续演进，以满足前沿具身智能的需求。

简而言之

LeRobot v0.4.0 为开源机器人领域带来重大升级，引入了可扩展的 Datasets v3.0、强大的新 VLA 模型如 PI0.5 和 GR00T N1.5，以及便于硬件集成的新插件系统。该版本还新增了对 LIBERO 和 Meta-World 仿真的支持、简化了多 GPU 训练，并推出了全新的 HF Mirror Robot Learning Course。

目录

• LeRobot v0.4.0: Supercharging OSS Robot Learning
  • 简而言之
  • 目录
  • Datasets: Ready for the Next Wave of Large-Scale Robot Learning
    • Datasets v3.0 有哪些新内容？
    • 新功能：数据集编辑工具！
  • Simulation Environments: Expanding Your Training Grounds
    • LIBERO 支持
    • Meta-World 集成
  • Codebase: Powerful Tools For Everyone
    • 全新的数据处理流水线
    • 多 GPU 训练轻松搞定
  • Policies: Unleashing Open-World Generalization
    • PI0 和 PI0.5
    • GR00T N1.5
  • Robots: A New Era of Hardware Integration with the Plugin System
    • 主要优势
    • Reachy 2 集成
    • 手机集成
  • The HF Mirror Robot Learning Course
    • 深入探索：现代机器人学习教程
  • 团队的最后感想

数据集：为下一波大规模机器人学习做好准备

我们通过 LeRobotDataset v3.0 彻底改造了数据集基础设施，采用了全新的分块 episode 格式和流式处理能力。这对于处理像 OXE（Open X Embodiment）和 Droid 这样的大规模数据集而言是颠覆性的，带来了无与伦比的效率和可扩展性。

Datasets v3.0 有哪些新内容？

• 支持超大规模的分块 Episodes：我们的新格式支持 OXE 级别（> 400GB）的数据集，实现了前所未有的可扩展性。
• 高效的视频存储 + 流式处理：享受更快的加载时间和无缝的视频数据流式传输。
• 统一的 Parquet 元数据：告别散乱的 JSON 文件！所有 episode 元数据现在都存储在统一、结构化的 Parquet 文件中，便于管理和访问。
• 更快的加载 & 更佳的性能：体验显著缩短的数据集初始化时间和更高效的内存使用。

我们还提供了转换脚本，可轻松将您现有的 v2.1 数据集迁移到新的 v3.0 格式，确保平稳过渡。更多详情请阅读我们之前的博客文章。开源机器人技术正在不断升级！

新功能：数据集编辑工具！

使用 LeRobot 数据集现在变得轻松多了！我们推出了一套强大的实用工具，用于灵活地编辑数据集。

借助我们全新的 lerobot-edit-dataset CLI，您现在可以：

• 从现有数据集中删除特定的 episodes。
• 按比例或 episode 索引拆分数据集。
• 轻松添加或删除特征。
• 将多个数据集合并为一个统一的集合。

# Merge multiple datasets into a single dataset.
lerobot-edit-dataset \
    --repo_id lerobot/pusht_merged \
    --operation.type merge \
    --operation.repo_ids "['lerobot/pusht_train', 'lerobot/pusht_val']"

# Delete episodes and save to a new dataset (preserves original dataset)
lerobot-edit-dataset \
    --repo_id lerobot/pusht \
    --new_repo_id lerobot/pusht_after_deletion \
    --operation.type delete_episodes \
    --operation.episode_indices "[0, 2, 5]"

这些工具简化了您的工作流程，让您以前所未有的方式整理和优化机器人数据集。查看文档了解更多详情！

仿真环境：扩展您的训练场

我们正在不断扩展 LeRobot 的仿真能力，为您的机器人策略提供更丰富、更多样化的训练环境。

LIBERO 支持

LeRobot 现已正式支持 LIBERO，这是 Vision-Language-Action（VLA）策略最大的开放基准之一，拥有超过 130 个任务！这是朝着构建 VLA 首选评估中心迈出的巨大一步，可实现轻松集成以及用于评估任意 VLA 策略的统一设置。

查看 LIBERO 数据集和我们的文档来开始使用吧！

Meta-World 集成

我们集成了 Meta-World，这是用于测试机器人操作中多任务与泛化能力的首要基准，包含超过 50 个多样化的操作任务。此次集成，以及我们对 gymnasium ≥ 1.0.0 和 mujoco ≥ 3.0.0 的标准化使用，确保了确定性种子和稳健的仿真基础。

立即使用 Meta-World 数据集训练你的策略吧！

代码库：为每个人提供强大工具

我们正在让机器人控制更加灵活、更易获取，为数据采集和模型训练开启新的可能性。

全新的数据处理流水线

将数据从机器人传到模型（再传回来！）相当棘手。原始传感器数据、关节位置和语言指令与 AI 模型的预期并不匹配。模型需要位于正确设备上的归一化、批处理张量，而你的机器人硬件则需要特定的动作指令。

我们很高兴推出 Processors：一种全新的模块化流水线，可作为你数据的通用翻译器。可以把它想象成一条装配线，每个 ProcessorStep 负责一项具体工作——例如归一化、文本分词，或将数据移动到 GPU。

你可以将这些步骤串联成一条强大的流水线，完美管理你的数据流。我们甚至创建了两种不同的类型，让使用更轻松：

• PolicyProcessorPipeline：为模型打造。它专业地处理批处理张量，以实现高性能训练和推理。
• RobotProcessorPipeline：为硬件打造。它处理单个数据点（如单次观测或动作），用于实时机器人控制。

# Get environment state
obs = robot.get_observation()

# Rename, Batch, Normalize, Tokenize, Move Device ... 
obs_processed = preprocess(obs)

# Run inference
action = model.select_action(obs_processed)

# Unnormalize, Move Device ...
action_processed = postprocess(action)

# Execute action
robot.send_action(action_processed)

该系统让将任意策略连接到任意机器人变得简单，确保你的数据在每一步都始终处于完美的格式。请在我们的Processors 简介文档中了解更多。

多 GPU 训练变得轻松

训练大型机器人策略变得快多了！我们将 Accelerate 直接集成到训练流水线中，只需一条命令，即可极其简单地跨多个 GPU 扩展你的实验：

accelerate launch \
  --multi_gpu \
  --num_processes=$NUM_GPUs \
  $(which lerobot-train) \
  --dataset.repo_id=${HF_USER}/my_dataset \
  --policy.repo_id=${HF_USER}/my_trained_policy \
  --policy.type=$POLICY_TYPE \
  # ... More training configuration flags

无论你是在微调策略还是运行大规模实验，LeRobot 现在都会为你处理分布式训练的所有复杂性。这意味着你可以大幅缩短训练时间，用 2 块 GPU 即可减半，用 3 块 GPU 可缩短至三分之一，甚至更多。

查看文档来加速你的机器人学习吧！

策略：释放开放世界泛化能力

PI0 和 PI0.5

作为开源机器人领域的一个重要里程碑，我们已将 Physical Intelligence 的 pi0 和 pi0.5 策略集成到 LeRobot 中！这些 Vision-Language-Action（VLA）模型代表着在解决机器人开放世界泛化方面迈出的重大一步。但 π₀.₅ 为何具有革命性？

• 开放世界泛化：旨在适应全新的环境和情境，在物理、语义和环境层面实现泛化。
• 异构数据协同训练：从多模态网络数据、语言指令、子任务命令和多环境机器人数据的多样化混合中学习。
• Physical Intelligence 合作：非常感谢 Physical Intelligence 团队 的开创性工作！

你可以在 HF Mirror Hub 上找到这些模型：pi0.5_base、pi0_base，以及它们经过 Libero 调优的对应版本。如需了解更多详情，请查看 Physical Intelligence Reasearch

GR00T N1.5

在另一项令人兴奋的进展中，得益于与 NVIDIA 机器人团队的出色合作，我们已将 NVIDIA 的 GR00T N1.5 集成到 LeRobot 中！这个开放基础模型是通用机器人推理与技能的强大引擎。作为一个跨具身模型，它接收多模态输入（如语言和图像），以在不同环境中执行复杂操作任务，标志着通用机器人技术的又一重大飞跃。但究竟是什么让 GR00T N1.5 成为颠覆者？

• 通用推理与技能：作为跨具身基础模型设计，GR00T N1.5 擅长通用推理和操作任务，并具备更强的语言跟随能力。
• 大规模异构训练：它从海量数据集中学习，这些数据结合了真实采集的人形数据、由 NVIDIA Isaac GR00T Blueprint 生成的合成数据，以及互联网规模的视频数据。
• NVIDIA 合作：我们非常高兴能与 NVIDIA 团队 合作，将这一最先进的模型带给开源 LeRobot 社区！

你可以在 HF Mirror Hub 上找到该模型：GR00T-N1.5-3B。如需了解更多详情，请查看 NVIDIA 研究页面 和 官方 GitHub 仓库。

这些策略在 lerobot 中的原生集成是向前迈出的一大步，使机器人学习尽可能开放和可复现。今天就试用它们，分享你的运行结果，让我们一起推动具身 AI 的前沿！

机器人：借助插件系统开启硬件集成新时代

对硬件爱好者来说是大新闻！我们推出了全新的插件系统，彻底改变你将第三方硬件与 LeRobot 集成的方式。现在，连接任何机器人、摄像头或遥操作设备都像 pip install 一样简单，无需修改核心库。

主要优势

• 可扩展性：在独立的 Python 包中开发和集成自定义硬件。
• 可伸缩性：支持不断增长的设备生态系统，而不会使核心库变得臃肿。
• 对社区友好：降低社区贡献的准入门槛，营造更协作的环境。

在我们的文档中了解如何创建你自己的插件。

pip install lerobot_teleoperator_my_awesome_teleop
lerobot-teleoperate --teleop.type=my_awesome_teleop

Reachy 2 集成

得益于我们新的插件系统，我们还将 Pollen Robotics 的 Reachy 2 添加到了 LeRobot 中！Reachy 2 可用于真实机器人控制和仿真，让你能够立即尝试遥操作和自主演示。

手机集成

得益于我们强大的新管道系统，你现在可以直接从手机（iOS/Android）遥操作你的从动臂。手机作为遥操作设备，我们的 RobotProcessor 管道处理所有变换，让你能够轻松地在不同的动作空间（如末端执行器空间）中驱动机器人。查看示例！

HF Mirror 机器人学习课程

我们正在推出一门全面的、自定进度且完全开源的课程，旨在让每个人都能轻松上手机器人学习！如果你对现实世界中的机器人如何学习感到好奇，这里就是完美的起点。

在本课程中，你将学习如何：

• 理解经典机器人学的基础知识。
• 使用生成模型进行模仿学习（VAEs、diffusion 等）。
• 将强化学习应用于现实世界的机器人。
• 探索最新的通用机器人策略，如 PI0 和 SmolVLA。

加入 HF Mirror 机器人组织，跟进学习并开启你的旅程！

深入探索：现代机器人学习教程

对于那些想要更深入学习的人，我们还发布了一份关于机器人领域最新进展的实操教程。本指南提供了自包含的讲解，从第一性原理重新推导现代技术，并包含使用 LeRobot 和 HF Mirror 的即用代码示例。

教程本身托管在一个 Space 中，其中包含使用 LeRobot 的实用示例，所有模型和数据集都在 Hugging Hub 上。你也可以查看我们的论文以获取详细概述。

团队的最后感想

除了这些主要功能外，本次发布还包含大量错误修复、文档改进、更新的依赖项、更多示例以及更好的基础设施，让你在使用 LeRobot 时体验更顺畅、更可靠。

我们想向社区中的每一个人致以最诚挚的感谢，感谢你们宝贵的贡献、反馈和支持。我们对开源机器人的未来感到无比兴奋，并期待与你们一起共创未来！

敬请期待更多内容 🤗 从这里开始吧！ – LeRobot 团队 ❤️