{{htmlmetatags>metatag-robots=(index,follow)
metatag-keywords=(LeRobot,机器人学习,模仿学习,PyTorch,Hugging Face,机器人数据集)
metatag-description=(LeRobot 是一个基于 PyTorch 的机器人学习框架,提供统一的数据格式、策略训练和硬件抽象接口)
}}
====== LeRobot 框架概述 ======
LeRobot 是一个基于 PyTorch 的 Python 库,提供模型、数据集和工具用于真实世界的机器人学习。它旨在通过标准化以下方面来降低机器人机器学习的准入门槛:
* **硬件控制**:统一的 ''Robot'' 类接口,抽象多样化的硬件平台(低成本机械臂如 SO-100、人形机器人和遥操作设备)
* **数据格式**:''LeRobotDataset'' 格式(状态/动作用 Parquet + 视频用 MP4),实现高效的存储、流式传输和可视化
* **策略训练**:最先进的模仿学习、强化学习和视觉-语言-动作(VLA)模型
* **生态集成**:通过 Hugging Face Hub 无缝共享数据集和预训练模型
该框架支持完整的机器人 ML 流水线:**数据采集 → 训练 → 评估 → 部署**。
===== 系统架构 =====
LeRobot 系统由多个协同工作的层次组成,以实现机器人机器学习工作流。
===== 核心工作流 =====
LeRobot 实现了从数据采集到部署的完整流水线:
* **数据采集** → ''lerobot-record'' 通过遥操作录制 episodes
* **数据集管理** → ''LeRobotDataset'' 标准化存储和共享
* **策略训练** → ''lerobot-train'' 配置驱动的训练
* **评估** → ''lerobot-eval'' 仿真或真实硬件评估
* **部署** → ''lerobot-rollout'' 将训练好的策略部署到硬件
===== 关键组件 =====
==== Robot 接口 ====
''Robot'' 接口提供硬件无关的 API 用于控制物理机器人。所有机器人实现都实现以下核心方法:
^ 方法 ^ 用途 ^
| ''connect()'' | 初始化与硬件的连接(电机、摄像头) |
| ''get_observation()'' | 读取当前状态(关节位置、图像等) |
| ''send_action()'' | 执行动作(关节指令、速度等) |
支持的平台包括 SO100、LeKiwi、Reachy2 和 Unitree G1 等。
==== LeRobotDataset ====
''LeRobotDataset'' 类实现了机器人数据的标准化格式,结合 Parquet 文件存储状态/动作和 MP4 视频存储视觉信息。
主要特性:
* **结构**:同步的 MP4 视频和 Parquet 文件
* **HF Hub 集成**:探索和流式传输数千个数据集
* **工具**:删除 episodes、拆分数据集和修改特征
==== 策略模型 ====
LeRobot 在纯 PyTorch 中实现了多种最先进(SoTA)策略架构:
* **模仿学习**:ACT、Diffusion、VQ-BeT、Multitask DiT
* **强化学习**:HIL-SERL、TDMPC
* **VLA 模型**:Pi0Fast、Pi0.5、GR00T、SmolVLA、XVLA、EO-1、MolmoAct2
策略遵循模块化处理流水线,其中观测和动作通过处理器进行变换。
==== LeLab GUI ====
LeLab 是 LeRobot 的配套 GUI 应用程序,提供无代码界面的机器人操作、遥操作和数据集可视化,无需编写 Python 脚本即可与机器人和数据集交互。
===== 命令行界面 =====
LeRobot 为所有主要工作流提供 CLI 脚本:
^ 命令 ^ 用途 ^
| ''lerobot-calibrate'' | 校准机器人电机和零位 |
| ''lerobot-teleoperate'' | 通过遥操作设备控制机器人 |
| ''lerobot-record'' | 录制 episodes 以创建数据集 |
| ''lerobot-replay'' | 在机器人上回放录制的 episodes |
| ''lerobot-train'' | 在数据集上训练策略 |
| ''lerobot-eval'' | 在仿真或真实环境中评估策略 |
| ''lerobot-info'' | 显示系统和依赖信息 |
===== Hugging Face Hub 集成 =====
LeRobot 利用 Hugging Face Hub 进行数据集和模型共享:
* **数据集仓库**:托管于 huggingface.co/lerobot
* **模型共享**:用户可以共享自定义策略和检查点到 Hub
* **环境共享**:仿真环境可通过 EnvHub 分发和加载
===== 相关页面 =====
* [[机器人:lerobot:安装与设置|安装与设置]] - 环境搭建和安装指南
* [[机器人:lerobot:核心概念|核心概念]] - 核心抽象概念详解
* [[机器人:lerobot:命令行界面|命令行界面]] - CLI 工具参考
* [[机器人:lerobot:数据集|数据集]] - 数据集格式和操作
* [[机器人:lerobot:训练与评估|训练与评估]] - 训练和评估工作流
* [[机器人:lerobot:策略架构|策略架构]] - 策略架构详解
* [[机器人:lerobot:硬件集成|硬件集成]] - 机器人硬件集成
* [[机器人:lerobot:仿真环境|仿真环境]] - 仿真环境支持
* [[机器人:lerobot:中心集成|Hugging Face Hub 集成]] - Hub 集成详情