00:16
大家好,我是东北大学机器人科学与工程学院的李曦。接下来,我要给大家分享关于机械臂抓取的技术简介和入门方法。其中重点介绍基于深度学习的物体抓取位置估计的方法。本次介绍,我将从以下几个方向分别进行讲解。一。抓取检测的研究背景及意义二、抓取检测的研究现状。三基于深度学习的抓取算法的抓取位置进行分析。四抓取算法度量标准。
01:02
五抓取数据集。六、数据集预处理方法。七抓取检测过程中存在的假阴性检测。八给大家讲解一下如何搭建抓取系统。就为大家展示基于深度学习算法的机器人抓取。十。最后分享五篇非常经典的基于深度学习的抓取算法。首先来给大家介绍一下抓取算法是在什么样的背景下进行研究的,以及研究的意义。在2019世界机器人大会上,中国电子协会发布中国机器人产业发展报告2019指出,中国机器人市场规模预计达到86.8亿美元,其中服务机器人规模预计达到22亿美元,占据中国机器人市场的25%。
02:10
机械臂抓取是服务机器人与环境交进行交互的主要途径。其成功的前提是对目标物体抓取位置的准确估计。非结构环境中的物体具有种类繁多、形状各异以及缺少三维模型等特性。对抓取位置检测算法的性能提出了很高的要求。因此,研究基于深度学习的物体抓取位置估计的方法。可以提高机器人抓取的适应性,为服务机器人落地奠定基础。抓取,本质上是一个检测问题。以往的深度学习应用通常集中在特定的视觉应用,如人脸检测和形成检测。
03:03
基于深度学习的抓取检测的目标不仅仅是推断出一个可行的抓取,而且还要推断出对给定对象的最优抓取。从而最大限度地获得成功抓取的概率。如下图所示的一个杂乱的实验室场景。待抓取物体上面显示与机器人抓取相对应的矩形。绿线对应于机器人夹齿板。机器人使用基于深度学习的抓取算法来学习特征并对待。抓取物体进行抓取检测。结果显示,基于深度学习的抓取算法能够适应形状各异、种类不同的物品。在物体抓取位置研究中。通过物体多视角特征或者计算物体位置后。
04:02
在抓取模板库中。进行抓取位置匹配。比较适用于已知物体的抓取位置估计。而基于力平衡或力分析封闭的方法。可以适用于未知物体的抓取位置估计。但是计算的复杂度较高。2015年,康奈尔大学的linz等人首次将深度学习应用到抓取位置估计研究中。之后的研究学者通过建立自动抓取实验平台。增加抓取数据集生成方式。结合闭环控制。实现机械臂对物体的实时抓取。利用目标检测对物体进行初步定位。提升抓取检测网络的实时性。
05:03
与其他计算机视觉研究相同,基于深度学习方法的物体抓取位置检测是目前研究的热点。常见的机器人加湿器。主要有玉米加湿器。UR加湿器、杰two加湿器,其中两只加湿器是目前服务机器人应用最为广泛的加湿器之一。其一,抓取位置。可以采用五维向量抓取框,大G表示,如图所示,XY表示图像坐标系下的抓取框中心点。WH和H表示抓取框。的宽度和高度。Sata为抓取角度。通过预测抓取框与真实抓取框的交并比和抓取角度差。
06:04
可以用于判断预测是否准确。在基于深度学习的抓取算法中。使用矩形度量来评估抓取位置检测结果如果同时满足以下两个条件。则预测的结果被认为是一个很好的抓取参数。第一个条件,预测的抓取角度与标真值标定的抓取角度之间的角度差控制在30度以内。第二条件为针织标定的撞击框。与预测的抓取框的亚克比指数大于25%。其中亚克比指数的定义如下。等式中,A为真值,标定的抓取框面积。B为预测的抓取矿面积。
07:03
A交B表示这两个抓取矩形面积的交集。A并B表示这两个抓取矩形面积的并积。在基于深度学习的抓取算法中,主要采用的数据集是康奈尔抓取数据集,由康奈尔大学进行标定。包含了208类物品。合计885张图片数据和全局坐标系下的千万个点云数据。图片和点云数据是对齐的,一共标注了八千一十九个抓取矩形。在训练过程中。将训练集与测试级的比例设置为4:1。将数据集分别采用以下两种方式进行比例分割。
08:01
第一种分割方式。Image VI风格。将图片随机分成训练集和测试集。这主要是为了测试网络模型在检测同一物体在不同位置、不同角度时的适应性。第二种分割方法,Object v分割。将数亿级按照对象实例分割。利用之前没有出现在训练集中的数据,测试模型对未知物体的泛化性。如图所示,为康奈尔数据中的部分物体。与其他深度学习中的数据集相比,康奈尔数据集是非常小的。因此,在将数据集读入网络之前,通常需要将数据集进行扩充。常用的扩充方法如下。首先将图像中心裁剪为351乘351。
09:04
然后裁剪后的图像在零度到360度之间进行随机旋转。旋转的图像在X和Y方向上随机平移最多50个像素。最后再次进行中心裁剪。以获得300乘300图像。预处理为每个图像生成100个纵向数据,其中这个100个纵向数据是论文中默认的,大家也可以尝试更多的数据动向。最终将图像以300乘300的分辨率批量读入,抓取位置检测网络模型。如图所示为cor数据集预处理效果。在模型测试过程中会发现,虽然某些预测的抓取矩形框不满足矩形度量的评估条件。
10:05
如图中所示。绿色的框表示标定的抓取框。红色的框表示预测的抓取框,可以看到红色的抓取框,它并不满足上面提到了两个评估条件,所以在评估时这并不是一个很好的专业参数。但是在实际效果中可以看到,它是一个很好的抓语参数。我们将这类预测结果称之为假阴性抓取检测结果。这是因为康奈尔抓取数据集中,抓取位置标定并非详尽无疑,难免会出现假阴性结果的产生,从而导致了模型评估结果下降。接下来给大家展示如图所示的机器人转系统,图中机械臂采用了七自由度的接to机械臂。
11:08
负责执行物体抓取动作。JB上的相机采用的是real sense sr300。负责采集当前场景中的彩色信息和深度信息。在工业应用中,机械臂手和摄像机通常采用两种位置关系,第一种是将摄像机固定在机械臂上面。眼随手动。第二种是摄像机和机械臂分离,眼的位置相对于机械臂是固定的。在这里展示的抓取系统主要采用了将摄像机固定在机械臂上面。在搭建抓取系统过程中,需要进行机械臂与相机之间的手眼标定。
12:05
获取一系列标定样本后。计算机械臂末端与相机坐标系变化关系。并在RS操作系统的RVZ环境中进行可视化。我们可以看到。标定后的。深度信息与彩色信息重合度非常高。所以我们可以断定此标定效果非常准确。接下来展示一下抓取视频,抓取视频中的物品均没有出现在训练机当中,这个实验主要是为了验证基于深度学习的抓取算法对未知物体的泛化能力。
13:02
从抓取效果上可以看到,检测抓取的效果还是非常好的。接下来。给大家分享。五篇非常经典的基于深度学习的抓取检测算法。第一篇论文是首次运用深度学习方法来解决机器人识别RGBD图像中物体抓取的难题。本文运用深度学习方法来解决机器人识别RGBD图像中物体的抓取位置。为了确保抓取位置识别的快速性和鲁棒性。
14:05
本文提出了啊。带有两个深层网络的。两级机联系统。第一个,深层网络功能较少。运行速度较快。并且能够有效地剔除。不可能的候选抓取。第二个,网络功能较多。运行较慢,但是只能在几个少数检测置信度高的地方运行。如图所示。为两阶段检测过程。嗯,给定一个对象的图像来检测抓取。第一个小的深度网络被用来彻底搜索潜在的抓取矩形。产生一组候选抓取矩形。然后使用一个深的深度网络。
15:01
从这些候选抓矩形中找到排名最高的矩形。从而被给定对象产生一个单一的最佳抓取。本论文已经开源,然后运用的语言是MATLAB语言。第二篇Dis net2.0是一个以机器人抓取的物理模型为核心的项目,通过多达上千种3D CAD物体模型。生成海量的平行夹具抓取数据集。为了减少训练时间,利用云计算的方法。基于物理抓取模型,对大量物体的网格模型快速进行抓取计算。本文通过抓取鲁邦性的参数。来排序抓取动作。这个参数是通过力学模型预测出来的。
16:01
抓取成功率。通过基于物体位置。表面摩擦等属性计算出的概率分布,判断抓取动作。对任意的力和力矩的抵抗能力。第三篇JJCNN可以预测每个像素的抓取质量。和姿势。通过利用深度图像单通道生成图像特征。避免了对抓取候选对象的离散采样和较长计算时间。允许在高达50赫兹的频率下进行闭环控制。从而可以在物体移动的非静态环境中。在机器人控制不准确的情况下进行精确抓取。此外。本文的GCN要比的抓网几个数?
17:05
并且在检测稳定的抓取时,其性能与当前最先进的技术相当。这篇论文也在get HUB中开源,大家可以尝试运行一下。第四篇论文与以前的方法相比。它的构架。能够预测多个候选抓取,而不是单一的抓取结果。并且利用分类方法将抓取方向回归转化为抓取分类任务。利用CNN的高分类性能来提高抓取检测结果。如图所示。为本文的网络架构。网络采用RGD输入。并且视图中的每个对象预测都具有多个抓取方向和矩形边界框的。
18:03
抓取候选。蓝色方块表示网络层。灰色方块表示图像和特征映射。绿色方块显示两个损失函数。输出边界框的。黑线表示双指加湿器的开口长度。而红色线模拟的是牙齿器的平行板。第五篇论文提出了一种基于Li的机器人。检测算法。该算法可以同时检测物体重叠场景中的目标以及抓取位置。并能通过检测到的对象和抓取之间的关联来检测RI尺特征中存在的潜在抓取位置。系统框架如图所示。
19:02
RH特征不仅用于。训练目标检测的RCNN分值。还用于训练抓取、检测网络分支。所有潜在的抓取都能在R上检测到。抓取检测网络经过训练,不仅可以输出抓取矩形,还可以确定抓取是否属于Li。今天的GB抓取技术简介和入门方法分享到此结束。感谢各位大佬聆听。同时也欢迎大家关注3D视觉工坊公众号。我们这里有3D视觉算法、Slam算法、计算机视觉、深度学习、自动驾驶。图像处理等干货分享,希望大家的加入,谢谢大家。
我来说两句