Nvidia用合成数据集训练机器人拾取物体，胜过用真实数据训练的机器人

编译：chux

出品：ATYUN订阅号

Nvidia的研究人员已经找到了一种方法，可以使用在虚拟环境中创建的数据来训练机器人在现实世界中拾取物体。用合成数据训练的卷积神经网络系统可以使用Baxter机器人和RGB相机实时检测物体的位置。

在实验中，使用罐装汤，芥末瓶和一盒Cheez-It来训练系统轻轻地将物品放入人的手中。

为了创建他们的合成数据，来自西雅图的Nvidia机器人实验室的研究人员为Unreal Engine 4创建了一个自定义插件，该插件生成了两组超过120000个标记的合成图像。

生成的数据使对象，光照和阴影的位置随机化，使机器人能够在动态的环境中操作。

“当我们在训练过程中将这两个数据集固定在一起时，我们发现网络操作能够达到一般水平，甚至比用实际数据训练的最先进的网络更好。因此，这是我们第一次看到合成数据训练的结果超过了对真实数据进行过训练的网络，”共同作者Stan Birchfield表示。

该论文及其研究结果建立在今年早些时候由Nvidia研究人员发布的工作基础上，其中机器人经过训练，通过摄取虚拟环境中生成的大量数据来获取对象。

用于创建插件的代码已经公开发布，因此研究人员可以在比学术实验室更强大的环境中训练机器人。

Birchfield表示，“机器人正在进入日常应用领域，因此有农业和制造业等垂直市场，然后有更多的横向市场，如家用机器人和医疗保健机器人。而且我认为在所有这些市场中，机器人以安全的方式和反应的方式感知世界将变得非常重要，这样它们就可以对周围世界的变化做出反应。因此，我们开发的这项技术，是朝这个方向迈出的有意义的一步。”

这项研究结果将于本周在瑞士苏黎世举行的机器人学习会议（CoRL）上公布。

代码：github.com/NVlabs/Deep_Object_Pose