触摸心灵-计算机触觉进展

赋予机器人一种触觉

GelSight技术使机器人能够测量物体的硬度并操纵小工具。

（用GelSight触摸传感器估算物体硬度）

2009年麻省理工学院计算机科学与人工智能实验室（CSAIL）的泰德.阿德尔森（Ted Adelson）研究小组推出了一种名为GelSight的新型传感器技术，该技术使用与物体的物理接触来提供非常详细的表面三维地图。

GelSight背景知识介绍（通过将智能物理界面与计算机视觉算法相结合的一个简单的便携式成像系统，该设备可以为制造商提供一种方法来检查产品，以适应在显微镜下，也可以在医学，法医学和生物识别技术的应用。 该系统的核心部分，被称为GelSight，是一块透明的合成橡胶板，其一面涂有一层含金属微粒的涂料。 当压在物体的表面上时，板的涂漆面会变形。 安装在板的另一侧的摄像机拍摄结果，并且计算机视觉算法分析图像。）

现在，通过将GelSight传感器安装在机械臂的抓手上，两个MIT小组已经给机器人更高的灵敏度和灵活性。

Adelson的小组使用GelSight传感器的数据，使机器人能够判断接触表面的硬度，这是家用机器人处理日常物体的关键能力。

另一方面，Russ Tedrake在CSAIL的Robot Locomotion Group使用GelSight传感器使机器人能够操作比以前更小的物体。

在某些方面，GelSight传感器是解决难题的低技术解决方案。它由一块透明的橡胶组成-它的名字是“凝胶” - 一面涂有金属漆。 当涂漆面压在物体上时，它与物体的形状相符。

金属漆使物体的表面具有反射性，因此计算机视觉算法的几何结构变得更容易推断。在传感器对面的橡胶块涂漆面上安装三个彩色灯和一个摄像头。

“[系统]有不同角度的彩灯，然后有这种反光材料，通过查看颜色，计算机可以计算出这个东西的三维形状，”阿德尔森解释说。

将一个GelSight传感器安装在机器人手爪的一侧，该手柄有点像钳子的头部，但是具有平坦的抓握表面而不是尖锐的尖端。

对于自主机器人来说，测量物体的柔软度或硬度对于决定不仅在何处以及如何难以抓住它们而言是至关重要的，而且在移动，堆叠或放置在不同表面上时将如何表现。触觉感应还可以帮助机器人识别看起来相似的物体。

在以前的工作中，机器人试图通过将物体放置在平坦的表面上并轻轻地戳他们以观察物体的硬度来评估物体的硬度。但这不是人类测量硬度的主要方式。 相反，我们的判断似乎是基于对象与我们手指之间的接触面积随着我们的按压程度而变化的程度。较柔软的物体趋向于变平，增加了接触面积。

麻省理工学院的研究人员采用了同样的方法。作者使用糖果模具创造了400组硅胶物体，每组16个物体。各组的形状相同，但硬度不同，以标准工业规模测量。

然后，手动将GelSight传感器压在每个物体上，记录了接触方式随着时间的推移如何变化，基本上为每个物体制作了短片。为了使数据格式规范化并保持数据的可管理性，她从每部电影中提取了五帧，时间间隔均匀，描述了被按下的对象的变形。

最后，她将数据输入到一个神经网络 ，该网络自动查找接触模式变化与硬度测量之间的相关性。 所得到的系统将视频帧作为输入，并以非常高的准确度产生硬度分数。

他们还进行了一系列非正式的实验，其中人体触摸水果和蔬菜，并按硬度排列。 在任何情况下，配备GelSight的机器人都达到了同样的排名。

通常，自主机器人将使用某种计算机视觉系统来指导其环境中对象的操纵。 这样的系统可以提供关于物体位置的非常可靠的信息 - 直到机器人拾取物体。 特别是如果物体很小，很大一部分会被机器人的抓手遮住，使得位置估计更加困难。 因此，恰好在机器人需要精确地知道对象的位置的地方，其估计变得不可靠。

使用计算机视觉系统将机器人的手爪引向工具，然后在机器人手持工具后将位置估算转移到GelSight传感器上。

一般而言，这种方法所面临的挑战是使视觉系统产生的数据与触觉传感器产生的数据相一致。 但GelSight本身是基于相机的，所以它的数据输出比其他触觉传感器的数据更容易与视觉数据集成。

在Izatt的实验中，一个装有GelSight的夹具的机器人必须抓住一把小螺丝刀，将其从皮套上取下，然后放回去。当然，GelSight传感器的数据并没有描述整个螺丝刀，只是一小块。 但是Izatt发现，只要视觉系统对螺丝刀初始位置的估计精确到几厘米，他的算法就可以推断出GelSight传感器正在接触哪一部分螺丝刀，从而确定螺丝刀在机器人手中的位置。

加州大学伯克利分校电子工程与计算机科学助理教授Sergey Levine表示：“我认为，GelSight技术以及其他高带宽触觉传感器将对机器人技术产生重大影响。 “对于人类来说，我们的触觉是我们令人惊叹的手动灵活性的关键促成因素之一。目前的机器人缺乏这种类型的灵活性，并且在操纵物体时对其表面特征的反应能力有限。如果你想象一下在黑暗中摸索一个灯光开关，从口袋中提取一个物体，或者甚至可以不经过思考就可以做的其他许多事情 - 这些都依赖于触摸感应。

Levine补充道：“软件终于迎头赶上了我们传感器的功能。“受深度学习和计算机视觉创新的启发的机器学习算法可以处理来自诸如GelSight等传感器的丰富感官数据，从而推断出对象属性。未来，我们将把这些学习方法整合到端到端的训练操作技巧中，这将使我们的机器人更加灵巧和有能力，也许可以帮助我们理解我们自己的触觉和电机控制感。