首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Rich feature hierarchies for accurate object detection and semantic segmentation

在PASCAL VOC标准数据集上测量的目标检测性能在最近几年趋于稳定。性能最好的方法是复杂的集成系统,它通常将多个低层图像特性与高层上下文结合起来。在本文中,我们提出了一种简单、可扩展的检测算法,相对于之前VOC 2012的最佳检测结果,平均平均精度(mAP)提高了30%以上,达到了53.3%。我们的方法结合了两个关键的方法:(1)为了定位和分割目标,可以一次将高容量应用卷积神经网络(cnn)自下而上的区域建议(2)标记的训练数据稀缺时,监督为辅助训练的任务,其次是特定于域的微调,收益率显著的性能提升。由于我们将区域建议与CNNs相结合,我们将我们的方法称为R-CNN:具有CNN特性的区域。我们还将R-CNN与OverFeat进行了比较,OverFeat是最近提出的一种基于类似CNN架构的滑动窗口检测器。在200类ILSVRC2013检测数据集上,我们发现R-CNN比OverFeat有较大的优势。

02

[Intensive Reading]目标检测(object detection)系列(三) Fast R-CNN:end-to-end的愉快训练

目标检测系列: 目标检测(object detection)系列(一) R-CNN:CNN目标检测的开山之作 目标检测(object detection)系列(二) SPP-Net:让卷积计算可以共享 目标检测(object detection)系列(三) Fast R-CNN:end-to-end的愉快训练 目标检测(object detection)系列(四) Faster R-CNN:有RPN的Fast R-CNN 目标检测(object detection)系列(五) YOLO:目标检测的另一种打开方式 目标检测(object detection)系列(六) SSD:兼顾效率和准确性 目标检测(object detection)系列(七) R-FCN:位置敏感的Faster R-CNN 目标检测(object detection)系列(八) YOLOv2:更好,更快,更强 目标检测(object detection)系列(九) YOLOv3:取百家所长成一家之言 目标检测(object detection)系列(十) FPN:用特征金字塔引入多尺度 目标检测(object detection)系列(十一) RetinaNet:one-stage检测器巅峰之作 目标检测(object detection)系列(十二) CornerNet:anchor free的开端 目标检测(object detection)系列(十三) CenterNet:no Anchor,no NMS 目标检测(object detection)系列(十四)FCOS:用图像分割处理目标检测

02

2D-Driven 3D Object Detection in RGB-D Images

在本文中,我们提出了一种在RGB-D场景中,在目标周围放置三维包围框的技术。我们的方法充分利用二维信息,利用最先进的二维目标检测技术,快速减少三维搜索空间。然后,我们使用3D信息来定位、放置和对目标周围的包围框进行评分。我们使用之前利用常规信息的技术,独立地估计每个目标的方向。三维物体的位置和大小是用多层感知器(MLP)学习的。在最后一个步骤中,我们根据场景中的目标类关系改进我们的检测。最先进的检测方法相比,操作几乎完全在稀疏的3D域,在著名的SUN RGB-D实验数据集表明,我们建议的方法要快得多(4.1 s /图像)RGB-D图像中的3目标检测和执行更好的地图(3)高于慢是4.7倍的最先进的方法和相对慢两个数量级的方法。这一工作提示我们应该进一步研究3D中2D驱动的目标检测,特别是在3D输入稀疏的情况下。

03

计算机视觉最新进展概览(2021年5月30日到2021年6月5日)

现有的旋转目标检测器大多继承自水平检测范式,因为后者已经发展成为一个成熟的领域。 然而,由于当前回归损失设计的局限性,尤其是对于大纵横比的目标,这些检测器难以在高精度检测中突出表现。 本文从水平检测是旋转物体检测的一种特殊情况出发,从旋转与水平检测的关系出发,将旋转回归损失的设计从归纳范式转变为演绎方法。 在动态联合优化过程中,估计的参数会以自适应和协同的方式相互影响,因此如何调节旋转回归损失中的耦合参数是一个关键的挑战。 具体来说,我们首先将旋转的包围框转换为二维高斯分布,然后计算高斯分布之间的Kullback-Leibler Divergence (KLD)作为回归损失。 通过对各参数梯度的分析,我们发现KLD(及其导数)可以根据对象的特性动态调整参数梯度。 它将根据长宽比调整角度参数的重要性(梯度权重)。 这种机制对于高精度检测是至关重要的,因为对于大纵横比物体,轻微的角度误差会导致严重的精度下降。 更重要的是,我们证明了KLD是尺度不变的。 我们进一步证明了KLD损失可以退化为流行的 损失用于水平检测。

03

Dynamic Head: Unifying Object Detection Heads with Attentions

1、摘要 在目标检测中,定位和分类相结合的复杂性导致了方法的蓬勃发展。以往的工作试图提高各种目标检测头的性能,但未能给出一个统一的视图。在本文中,我们提出了一种新的动态头网络框架,以统一目标检测头部与注意。该方法通过将特征层次间、空间位置间、任务感知输出通道内的多自注意机制相结合,在不增加计算开销的情况下显著提高了目标检测头的表示能力。进一步的实验证明了所提出的动态头在COCO基准上的有效性和效率。有了标准的ResNeXt-101-DCN主干网,我们在很大程度上提高了性能,超过了流行的目标检测器,并在54.0 AP达到了新的最先进水平。此外,有了最新的变压器主干网和额外的数据,我们可以将当前的最佳COCO结果推至60.6 AP的新记录。 2、简介 物体检测是回答计算机视觉应用中“什么物体位于什么位置”的问题。在深度学习时代,几乎所有现代目标检测器[11,23,12,35,28,31,33]都具有相同的范式——特征提取的主干和定位和分类任务的头部。如何提高目标检测头的性能已成为现有目标检测工作中的一个关键问题。 开发一个好的目标检测头的挑战可以概括为三类。首先,头部应该是尺度感知的,因为多个具有极大不同尺度的物体经常共存于一幅图像中。其次,头部应该是空间感知的,因为物体通常在不同的视点下以不同的形状、旋转和位置出现。第三,头部需要具有任务感知,因为目标可以有不同的表示形式(例如边界框[12]、中心[28]和角点[33]),它们拥有完全不同的目标和约束。我们发现最近的研究[12,35,28,31,33]只关注于通过各种方式解决上述问题中的一个。如何形成一个统一的、能够同时解决这些问题的头,仍然是一个有待解决的问题。 本文提出了一种新的检测头,即动态头,将尺度感知、空间感知和任务感知结合起来。如果我们把一个主干的输出(即检测头的输入)看作是一个具有维级×空间×通道的三维张量,我们发现这样一个统一的头可以看作是一个注意学习问题。一个直观的解决方案是在这个张量上建立一个完整的自我注意机制。然而,优化问题将是太难解决和计算成本是不可承受的。 相反地,我们可以将注意力机制分别部署在功能的每个特定维度上,即水平层面、空间层面和渠道层面。尺度感知的注意模块只部署在level维度上。它学习不同语义层次的相对重要性,以根据单个对象的规模在适当的层次上增强该特征。空间感知注意模块部署在空间维度上(即高度×宽度)。它学习空间位置上的连贯区别表征。任务感知的注意模块部署在通道上。它根据对象的不同卷积核响应指示不同的特征通道来分别支持不同的任务(如分类、框回归和中心/关键点学习)。 这样,我们明确实现了检测头的统一注意机制。虽然这些注意机制分别应用于特征张量的不同维度,但它们的表现可以相互补充。在MS-COCO基准上的大量实验证明了我们的方法的有效性。它为学习更好的表示提供了很大的潜力,可以利用这种更好的表示来改进所有类型的对象检测模型,AP增益为1:2% ~ 3:2%。采用标准的ResNeXt-101-DCN骨干,所提出的方法在COCO上实现了54:0%的AP新状态。此外,与EffcientDet[27]和SpineNet[8]相比,动态头的训练时间为1=20,但表现更好。此外,通过最新的变压器主干和自我训练的额外数据,我们可以将目前的最佳COCO结果推至60.6 AP的新纪录(详见附录)。 2、相关工作 近年来的研究从尺度感知、空间感知和任务感知三个方面对目标检测器进行了改进。 Scale-awareness. 由于自然图像中经常同时存在不同尺度的物体,许多研究都认为尺度感知在目标检测中的重要性。早期的研究已经证明了利用图像金字塔方法进行多尺度训练的重要性[6,24,25]。代替图像金字塔,特征金字塔[15]被提出,通过将下采样卷积特征串接一个金字塔来提高效率,已经成为现代目标检测器的标准组件。然而,不同层次的特征通常从网络的不同深度中提取,这就造成了明显的语义差距。为了解决这种差异,[18]提出了从特征金字塔中自下而上的路径增强较低层次的特征。后来[20]通过引入平衡采样和平衡特征金字塔对其进行了改进。最近,[31]在改进的三维卷积的基础上提出了一种金字塔卷积,可以同时提取尺度和空间特征。在这项工作中,我们提出了一个尺度感知注意在检测头,使各种特征级别的重要性自适应的输入。 Spatial-awareness. 先前的研究试图提高物体检测中的空间意识,以更好地进行语义学习。卷积神经网络在学习图像[41]中存在的空间变换方面是有限的。一些工作通过增加模型能力(大小)[13,32]或涉及昂贵的数据扩展[14]来缓解这个问题,这导致了在推理和训练中极高的计算成本。随后,提出了新的卷积算子来改进空间变换的学习。[34]提出使用膨胀卷积来聚合来自指数扩展的接受域的上下文信息。[7]提出了一种可变形的卷积来对具有额外自学习偏移量的

02

Object Detection in Foggy Conditions by Fusion of Saliency Map and YOLO

在有雾的情况下,能见度下降,造成许多问题。由于大雾天气,能见度降低会增加交通事故的风险。在这种情况下,对附近目标的检测和识别以及对碰撞距离的预测是非常重要的。有必要在有雾的情况下设计一个目标检测机制。针对这一问题,本文提出了一种VESY(Visibility Enhancement Saliency YOLO)传感器,该传感器将雾天图像帧的显著性映射与目标检测算法YOLO (You Only Look Once)的输出融合在一起。利用立体相机中的图像传感器对图像进行检测,利用雾传感器激活图像传感器,生成深度图来计算碰撞距离。采用去雾算法对基于区域协方差矩阵的显著性图像帧进行质量改进。在改进后的图像上实现了YOLO算法。提出的融合算法给出了Saliency Map和YOLO算法检测到的目标并集的边界框,为实时应用提供了一种可行的解决方案。

01

A Comparison of Super-Resolution and Nearest Neighbors Interpolation

随着机器视觉和深度卷积神经网络(CNNs)被应用于新的问题和数据,网络架构的进步和这些网络的应用都得到了快速的发展。然而,在大多数分类和目标检测应用中,图像数据是这样的,感兴趣的对象相对于场景来说是很大的。这可以在最流行的公共基准数据集ImageNet、VOC、COCO和CIFAR中观察到。这些数据集和它们对应的挑战赛继续推进网络架构比如SqueezeNets, Squeeze-and-Excitation Networks, 和 Faster R-CNN。对于DigitalGlobe的WorldView-3卫星将每个像素表示为30平方厘米的区域的卫星数据。在这些场景中,在大于3000x3000的场景中像汽车这样的物体通常是13x7像素或更小。这些大型场景需要预处理,以便在现代目标检测网络中使用,包括将原始场景切割成更小的组件用于训练和验证。除此之外,在停车场和繁忙的道路等区域,车辆等物体往往位于较近的位置,这使得车辆之间的边界在卫星图像中难以感知。缺乏公共可用的标记数据也阻碍了对这个应用程序空间的探索,只有xView Challenge数据集拥有卫星捕获的带有标记对象的图像。等空中数据集分类细粒度特性在空中图像(COFGA),大规模数据集在空中图像(队伍),对象检测和汽车开销与上下文(COWC)也有类似的对象类,但存在一个较低的地面样本距离(德牧)使他们更容易获得良好的对象检测结果,但限制了实际应用。考虑到将CNNs应用于卫星数据所面临的挑战,将升级作为预处理步骤对实现准确探测目标的良好性能至关重要。深度学习的进步导致了许多先进的体系结构可以执行升级,在低分辨率图像上训练网络,并与高分辨率副本进行对比验证。尽管关于这一主题的文献越来越多,但超分辨率(SR)在目标检测和分类问题上的应用在很大程度上还没有得到探索,SR与最近邻(NN)插值等也没有文献记载。SR网络作为卫星图像中目标检测的预处理步骤,具有良好的应用前景,但由于其深度网络包含数百万个必须正确训练的参数,因此增加了大量的计算成本。与SR不同的是,NN仍然是最基本的向上缩放方法之一,它通过取相邻像素并假设其值来执行插值,从而创建分段阶跃函数逼近,且计算成本很小。

03

SOOD: Towards Semi-Supervised Oriented Object Detection

半监督物体检测,旨在探索未标记的数据以提高物体检测器,近年来已成为一项活跃的任务。然而,现有的SSOD方法主要集中在水平方向的物体上,而对航空图像中常见的多方向物体则没有进行探索。本文提出了一个新颖的半监督定向物体检测模型,称为SOOD,建立在主流的伪标签框架之上。针对空中场景中的定向物体,我们设计了两个损失函数来提供更好的监督。针对物体的方向,第一个损失对每个伪标签-预测对(包括一个预测和其相应的伪标签)的一致性进行了规范化处理,并根据它们的方向差距进行了适应性加权。第二种损失侧重于图像的布局,对相似性进行规范化,并明确地在伪标签和预测的集合之间建立多对多的关系。这样的全局一致性约束可以进一步促进半监督学习。我们的实验表明,当用这两个提议的损失进行训练时,SOOD在DOTA v1.5基准的各种设置下超过了最先进的SSOD方法。

02
领券