LeRobot Hugging Face Hub 集成
本页面记录 LeRobot 如何与 Hugging Face Hub 集成以存储、版本化和分发数据集、策略和奖励模型。Hub 作为所有 LeRobot 组件的中央仓库,实现跨社区的无缝共享和可复现性。
LeRobot 利用 huggingface_hub 库为机器人数据提供 Git 风格的体验,支持版本化快照、选择性下载和自动元数据生成。
Hub 集成架构
LeRobot 将 Hugging Face Hub 视为一等存储后端。集成主要由 LeRobotDataset(数据)和 HubMixin(通过 RewardModelConfig 和 PreTrainedPolicy 的模型)处理。
数据集 Hub 操作
数据集下载使用 snapshot_download 并带有智能缓存:
- 当提供
repoid下载且没有root路径时,默认使用$HFLEROBOTHOME/hub下的版本安全快照缓存 *LeRobotDataset支持两种模式:从本地root加载或从repoid
'LeRobotDatasetMetadata' 类处理初始发现,先下载 meta/ 目录,允许系统在提交下载大型 Parquet 或视频文件前检查数据集结构。
数据集元数据文件
Hub 上的每个数据集仓库包含由 LeRobotDatasetMetadata 管理的 meta/ 目录:
info.json:数据集信息(FPS、特征维度、总帧数等)stats.json:每通道统计数据(均值、标准差、最小、最大值)tasks.parquet:任务描述
模型和奖励 Hub 操作
LeRobot 使用 HubMixin 为配置类提供 Hub 功能:
RewardModelConfig使用frompretrained创建和pushtohub实现奖励分类器和 SARM 的加载和共享 * 模型卡使用lerobotmodelcardtemplate.md模板确保文档完备 * 数据集卡通过createlerobotdatasetcard
版本控制和兼容性
- 当前标准格式版本:v3.0(
CODEBASEVERSION = “v3.0”) * 如果请求的版本与代码库版本匹配,系统使用getsafeversion确保 Hub 仓库确实包含该版本或兼容版本 * v2.1 到 v3.0 迁移:提供迁移脚本convertdatasetv21to_v30.py
认证和缓存
Hub 缓存:
HFLEROBOTHUBCACHE)用于版本安全快照存储(默认为$HFLEROBOT_HOME/hub- 如果显式提供
root路径,Hub 下载直接物化到该路径
认证机制:
HfApi用于认证请求(如创建仓库、推送文件)token参数传递给snapshotdownload,支持私有仓库和hfhub_download- 训练脚本使用
WandBLogger记录模型工件到 Weights & Biases,可链接回 Hugging Face 模型
评论