{{htmlmetatags>metatag-robots=(index,follow) metatag-keywords=(LeRobot,机器人学习,模仿学习,PyTorch,Hugging Face,机器人数据集) metatag-description=(LeRobot 是一个基于 PyTorch 的机器人学习框架,提供统一的数据格式、策略训练和硬件抽象接口) }} ====== LeRobot 框架概述 ====== LeRobot 是一个基于 PyTorch 的 Python 库,提供模型、数据集和工具用于真实世界的机器人学习。它旨在通过标准化以下方面来降低机器人机器学习的准入门槛: * **硬件控制**:统一的 ''Robot'' 类接口,抽象多样化的硬件平台(低成本机械臂如 SO-100、人形机器人和遥操作设备) * **数据格式**:''LeRobotDataset'' 格式(状态/动作用 Parquet + 视频用 MP4),实现高效的存储、流式传输和可视化 * **策略训练**:最先进的模仿学习、强化学习和视觉-语言-动作(VLA)模型 * **生态集成**:通过 Hugging Face Hub 无缝共享数据集和预训练模型 该框架支持完整的机器人 ML 流水线:**数据采集 → 训练 → 评估 → 部署**。 ===== 系统架构 ===== LeRobot 系统由多个协同工作的层次组成,以实现机器人机器学习工作流。 ===== 核心工作流 ===== LeRobot 实现了从数据采集到部署的完整流水线: * **数据采集** → ''lerobot-record'' 通过遥操作录制 episodes * **数据集管理** → ''LeRobotDataset'' 标准化存储和共享 * **策略训练** → ''lerobot-train'' 配置驱动的训练 * **评估** → ''lerobot-eval'' 仿真或真实硬件评估 * **部署** → ''lerobot-rollout'' 将训练好的策略部署到硬件 ===== 关键组件 ===== ==== Robot 接口 ==== ''Robot'' 接口提供硬件无关的 API 用于控制物理机器人。所有机器人实现都实现以下核心方法: ^ 方法 ^ 用途 ^ | ''connect()'' | 初始化与硬件的连接(电机、摄像头) | | ''get_observation()'' | 读取当前状态(关节位置、图像等) | | ''send_action()'' | 执行动作(关节指令、速度等) | 支持的平台包括 SO100、LeKiwi、Reachy2 和 Unitree G1 等。 ==== LeRobotDataset ==== ''LeRobotDataset'' 类实现了机器人数据的标准化格式,结合 Parquet 文件存储状态/动作和 MP4 视频存储视觉信息。 主要特性: * **结构**:同步的 MP4 视频和 Parquet 文件 * **HF Hub 集成**:探索和流式传输数千个数据集 * **工具**:删除 episodes、拆分数据集和修改特征 ==== 策略模型 ==== LeRobot 在纯 PyTorch 中实现了多种最先进(SoTA)策略架构: * **模仿学习**:ACT、Diffusion、VQ-BeT、Multitask DiT * **强化学习**:HIL-SERL、TDMPC * **VLA 模型**:Pi0Fast、Pi0.5、GR00T、SmolVLA、XVLA、EO-1、MolmoAct2 策略遵循模块化处理流水线,其中观测和动作通过处理器进行变换。 ==== LeLab GUI ==== LeLab 是 LeRobot 的配套 GUI 应用程序,提供无代码界面的机器人操作、遥操作和数据集可视化,无需编写 Python 脚本即可与机器人和数据集交互。 ===== 命令行界面 ===== LeRobot 为所有主要工作流提供 CLI 脚本: ^ 命令 ^ 用途 ^ | ''lerobot-calibrate'' | 校准机器人电机和零位 | | ''lerobot-teleoperate'' | 通过遥操作设备控制机器人 | | ''lerobot-record'' | 录制 episodes 以创建数据集 | | ''lerobot-replay'' | 在机器人上回放录制的 episodes | | ''lerobot-train'' | 在数据集上训练策略 | | ''lerobot-eval'' | 在仿真或真实环境中评估策略 | | ''lerobot-info'' | 显示系统和依赖信息 | ===== Hugging Face Hub 集成 ===== LeRobot 利用 Hugging Face Hub 进行数据集和模型共享: * **数据集仓库**:托管于 huggingface.co/lerobot * **模型共享**:用户可以共享自定义策略和检查点到 Hub * **环境共享**:仿真环境可通过 EnvHub 分发和加载 ===== 相关页面 ===== * [[机器人:lerobot:安装与设置|安装与设置]] - 环境搭建和安装指南 * [[机器人:lerobot:核心概念|核心概念]] - 核心抽象概念详解 * [[机器人:lerobot:命令行界面|命令行界面]] - CLI 工具参考 * [[机器人:lerobot:数据集|数据集]] - 数据集格式和操作 * [[机器人:lerobot:训练与评估|训练与评估]] - 训练和评估工作流 * [[机器人:lerobot:策略架构|策略架构]] - 策略架构详解 * [[机器人:lerobot:硬件集成|硬件集成]] - 机器人硬件集成 * [[机器人:lerobot:仿真环境|仿真环境]] - 仿真环境支持 * [[机器人:lerobot:中心集成|Hugging Face Hub 集成]] - Hub 集成详情