身手不凡的机器人，开源项目汇总

最初，因隋炀帝思念心切，命工匠按照柳抃的形象制作了木偶机器人，被认为是历史上最早的机器人之一。这些木偶机器人通过精巧设计的机关，能够执行坐、起、拜、伏等动作。

如今，随着科技的发展，机器人已经广泛应用于医疗、军事、教育、服务等各个领域，为人类提供更安全、更便捷、更高效的服务。

因此，本文整理了一些机器人相关的开源数据集、模型和项目，旨在帮助研究人员更好地开展相关领域的工作。

LeRobot

LeRobot 是由 Hugging Face 开源的一个机器人代码库，提供模型、数据集和工具。它通过预训练模型、数据集和模拟来拉低机器人入门门槛。

核心特点：

• 开源：与各方合作创建一个庞大的众包机器人数据集，增强了开发复杂人工智能驱动机器人的资源。
• 多功能：一个用于共享、可视化数据和训练最先进模型（SOTA）的库。用户可以访问大量预训练模型，快速启动项目。
• 兼容性高：兼容各种机器人硬件，从简单的机械臂到复杂的类人机器人。

推人表示 Hugging Face 这一举动将削弱大型人工智能技术公司的垄断地位，加速人工智能机器人技术的创新！！！

• Github：https://github.com/huggingface/lerobot
• Huggingface：https://huggingface.co/lerobot

RoboFlamingo

RoboFlamingo 是机器人领域首个开源的视觉-语言操作大模型，由 ByteDance 团队开发。通过简单的微调，即可使 RoboFlamingo 适应基于语言的机器人操作任务。此外，它能够通过开环控制实现实时响应，并且可以灵活部署在性能较低的平台上。

• 论文链接：https://arxiv.org/abs/2311.01378
• 项目链接：https://roboflamingo.github.io/

Open X-Embodiment

Open X-Embodiment 数据集是迄今为止最大的开源真实机器人数据集，由全球 34 个机器人研究实验室提供的 60 个现有机器人数据集构建而成。该数据集包含超过 1 百万条真实机器人轨迹，涵盖了 22 种不同的机器人具身，从单臂机器人到双手臂机器人和四足机器人。

• 论文链接：https://arxiv.org/abs/2310.08864
• 项目链接：https://robotics-transformer-x.github.io/

RoboAgent

由 CMU 和 Meta AI 共同开发的通用的 RoboAgent，仅在 7500 条轨迹数据上进行训练，就能在 38 个任务中展示 12 种多样的操作技能，且不限于拾取 / 推动，还包括关节对象操纵和物体重新定位，以及能将这些技能推广应用于数百个不同的未知情境（未知物体、未知任务，甚至完全未知的厨房环境）。

其中用于训练 RoboAgent 的数据集 RoboSet（MT-ACT）仅包括 7500 条轨迹（比 RT-1 的数据少 18 倍）。除此之外，还发布了一个更大的数据集 RoboSet，该数据集是在几个相关项目过程中收集的，总共包含 100050 条轨迹，其中包括非厨房场景。并且已开源。

• 论文链接：https://arxiv.org/pdf/2309.01918.pdf
• 项目链接：https://robopen.github.io/

Mobile ALOHA

Mobile ALOHA 是由斯坦福大学的研究团队开发的一个机器人开源项目。它的运动控制能力采用模仿学习，通过人类操作机器人，机器人学习模仿人类行为，形成机器人的行为逻辑。仅需要进行 50 次演示的训练，就能够在处理日常家务时达到 80% 以上的成功率。

例如，在论文中列出的任务执行成功率如下：擦拭红酒、呼叫电梯、击掌、收纳平底锅、冲洗平底锅、推椅子成功率分别为 95%、95%、85%、85%、80%、80%。

其中，最令人惊讶的是制作滑蛋虾仁这项长达 75 秒的艰巨烹饪任务，尽管成功率只有40%。

• 论文链接：http://arxiv.org/abs/2401.02117
• 项目链接：https://mobile-aloha.github.io/

Dobb·E

Dobb·E 是由纽约大学的研究团队开发的一个开源家庭机器人系统，仅需约 20 分钟就可以教会机器人完成一项家务，成功率达到 81%。

Homes of New York（HoNY）数据集包含纽约 22 户家庭使用 Stick 工具收集的 13 小时互动的视频，包含每秒 30 帧的 RGB 和深度视频，以及 6D 握爪姿势和握爪张开角度的完整动作标注。

• 论文链接：https://arxiv.org/abs/2311.16098
• 项目链接：https://dobb-e.com/

MCD

MCD 是由南洋理工开源的大规模多校区机器人感知数据集。该数据集在亚洲和欧洲的大型校园区域不同季节收集而成，具有以下特点：

• 多种感测模态
  • 3D spinning lidar
  • Non-repetItive lidar
  • Stereo cameras
  • High quality IMUs
  • UWB ranging sensors
• 覆盖领域广：横跨欧亚的三个大学校区
• 逐点标注的NRE点云
• 高精度连续时间真实值
• 迎接感知中的挑战
• 广泛的基准测试

收录于 CVPR 2024。

• 论文链接：https://arxiv.org/abs/2403.11496v1
• 项目链接：https://mcdviral.github.io/

TreeScope

TreeScope 是一个用于精准农业和林业的机器人数据集，用于对林业和果园中的树木进行计数和绘图。

特点如下：

• 超 1800 多个人工标注的树干语义标签和实地测量的树木直径
• 10 小时的 ROS bags，2.2 TB 的数据，覆盖 50 公顷的地形
• 使用无人机和移动机器人平台收集数据
• 弗吉尼亚州和新泽西州森林中的各种松树和橡树林
• 加利福尼亚中部开心果和杏仁果园的树冠开启和关闭情况
• 无人机自主飞行和传感器数据可供飞行一小时使用

收录于 ICRA 2024。

• 论文链接：https://arxiv.org/abs/2310.02162
• 项目链接：https://treescope.org/

USTC FLICAR Dataset

USTC FLICAR Dataset 是由中国科大发布的首个高空作业机器人多模态感知数据集，超过 1.5TB 个数据，包括 4 万个立体图像对、10万个单目图像、7万帧激光雷达点云以及高频IMU/INS和激光跟踪仪运动测量数据。

• 中文介绍：https://lmbd.ustc.edu.cn/2023/1012/c10217a614638/page.htm
• 论文链接：https://journals.sagepub.com/doi/abs/10.1177/02783649231195650
• 项目链接：https://ustc-flicar.github.io/

RoboNet

RoboNet 是由伯克利人工智能研究公司开源的大规模多机器人学习数据集，包含超过 1500 万个机器人与物体交互的视频帧，这些视频帧来自 113 个独特的摄像机视角。

RoboNet 示例及数据统计如下：

• 论文链接：https://arxiv.org/abs/1910.11215
• 项目链接：https://www.robonet.wiki/