本页面记录 LeRobot 如何与 Hugging Face Hub 集成以存储、版本化和分发数据集、策略和奖励模型。Hub 作为所有 LeRobot 组件的中央仓库,实现跨社区的无缝共享和可复现性。
LeRobot 利用 huggingface_hub 库为机器人数据提供 Git 风格的体验,支持版本化快照、选择性下载和自动元数据生成。
LeRobot 将 Hugging Face Hub 视为一等存储后端。集成主要由 LeRobotDataset(数据)和 HubMixin(通过 RewardModelConfig 和 PreTrainedPolicy 的模型)处理。
数据集下载使用 snapshot_download 并带有智能缓存:
repoid 且没有 root 路径时,默认使用 $HFLEROBOTHOME/hub 下的版本安全快照缓存
* LeRobotDataset 支持两种模式:从本地 root 加载或从 repoid 下载
'LeRobotDatasetMetadata' 类处理初始发现,先下载 meta/ 目录,允许系统在提交下载大型 Parquet 或视频文件前检查数据集结构。
Hub 上的每个数据集仓库包含由 LeRobotDatasetMetadata 管理的 meta/ 目录:
info.json:数据集信息(FPS、特征维度、总帧数等)stats.json:每通道统计数据(均值、标准差、最小、最大值)tasks.parquet:任务描述
LeRobot 使用 HubMixin 为配置类提供 Hub 功能:
RewardModelConfig 使用 frompretrained 和 pushtohub 实现奖励分类器和 SARM 的加载和共享
* 模型卡使用 lerobotmodelcardtemplate.md 模板确保文档完备
* 数据集卡通过 createlerobotdatasetcard 创建CODEBASEVERSION = “v3.0”)
* 如果请求的版本与代码库版本匹配,系统使用 getsafeversion 确保 Hub 仓库确实包含该版本或兼容版本
* v2.1 到 v3.0 迁移:提供迁移脚本 convertdatasetv21to_v30.pyHub 缓存:
HFLEROBOTHUBCACHE(默认为 $HFLEROBOT_HOME/hub)用于版本安全快照存储root 路径,Hub 下载直接物化到该路径认证机制:
HfApi 用于认证请求(如创建仓库、推送文件)token 参数传递给 snapshotdownload 和 hfhub_download,支持私有仓库WandBLogger 记录模型工件到 Weights & Biases,可链接回 Hugging Face 模型