【3D本体感知】开源 | 通过深度传感建立软体3D本体感知，精度高！分辨率高！

论文地址： http://arxiv.org/pdf/1904.03820v3.pdf

代码： 公众号回复：08030258682

来源： 纽约大学, 卡耐基梅隆大学

论文名称：Real-time Soft Body 3D Proprioception via Deep Vision-based Sensing

原文作者：Ruoyu Wang

内容提要

由柔韧和可变形材料制成的柔软身体在许多机器人应用中很受欢迎，但它们的本体感知一直是一个挑战。换句话说，几乎没有一种方法可以用内部传感器来测量和建模软体的高维3D形状。我们提出了一个框架，使用嵌入相机测量高分辨率3D形状的软体的实时情况。摄像头捕捉到软体内部的视觉模式，卷积神经网络(CNN)产生代表变形状态的潜在代码，然后可以使用另一个神经网络重建软体的3D形状。在各种软体(如Baymaxshaped玩具、乳胶气球和一些软性机器人手指)上测试了该框架，实现了2.5ms/帧的实时计算，具有较高的精度(1%的相对误差)和分辨率。我们相信，该方法可以应用于软机器人和人-机器人交互的本体感觉形状感知。

主要框架及实验结果

声明：文章来自于网络，仅用于学习分享，版权归原作者所有，侵权请联系删除。