以监控摄像头数据集的人体检测模型为例,说明了如何通过对数据的理解来逐步提升模型的效果,不对模型做任何改动,将mAP从0.46提升到了0.79。
「YOLO 之父」Joseph Redmon 宣布退出计算机视觉领域了!这个刚刚出现的消息着实让人工智能界感到惊讶。
作者:Rakesh Mehta等 机器之心编译 参与:panda 目标检测技术的很多实际应用在准确度和速度上都有很高的要求,但目前大多数相关研究都更注重准确度表现的突破。在另一个方向上,爱尔兰联合技术研究中心的两位研究者近日在 arXiv 上发布了一份研究成果,介绍了他们在保证准确度的同时达到了 200 FPS 速度的目标检测研究进展。 目标检测是计算机视觉领域内的一个基本问题。得益于深度卷积网络的成功,近些年来,我们已经见证了目标检测器准确度的显著提升 [25, 27, 22, 26, 7, 10, 2
选自arXiv 作者:Rakesh Mehta等 机器之心编译 参与:panda 目标检测技术的很多实际应用在准确度和速度上都有很高的要求,但目前大多数相关研究都更注重准确度表现的突破。在另一个方向上,爱尔兰联合技术研究中心的两位研究者近日在 arXiv 上发布了一份研究成果,介绍了他们在保证准确度的同时达到了 200 FPS 速度的目标检测研究进展。 目标检测是计算机视觉领域内的一个基本问题。得益于深度卷积网络的成功,近些年来,我们已经见证了目标检测器准确度的显著提升 [25, 27, 22, 26, 7
本文是翻译自Object detection: an overview in the age of Deep Learning - Tryolabs Blog (http://t.cn/RNf1Ap9)。这篇文章主要是对深度学习目标检测进行概览,并不深入,适合那些想了解深度学习目标检测方向的读者。 从简单的图像分类到3D姿势识别,计算机视觉领域从来不缺乏有趣的问题。其中,我们最感兴趣的,也投入精力去研究的领域之一就是目标检测。就像许多其他计算机视觉问题,该领域还缺乏一个显而易见或者“做好的”方法,这意味着目
就像许多其他计算机视觉问题,该领域还缺乏一个显而易见或者“做好的”方法,这意味着目标检测仍然有很大的进步空间。
在PASCAL VOC标准数据集上测量的目标检测性能在最近几年趋于稳定。性能最好的方法是复杂的集成系统,它通常将多个低层图像特性与高层上下文结合起来。在本文中,我们提出了一种简单、可扩展的检测算法,相对于之前VOC 2012的最佳检测结果,平均平均精度(mAP)提高了30%以上,达到了53.3%。我们的方法结合了两个关键的方法:(1)为了定位和分割目标,可以一次将高容量应用卷积神经网络(cnn)自下而上的区域建议(2)标记的训练数据稀缺时,监督为辅助训练的任务,其次是特定于域的微调,收益率显著的性能提升。由于我们将区域建议与CNNs相结合,我们将我们的方法称为R-CNN:具有CNN特性的区域。我们还将R-CNN与OverFeat进行了比较,OverFeat是最近提出的一种基于类似CNN架构的滑动窗口检测器。在200类ILSVRC2013检测数据集上,我们发现R-CNN比OverFeat有较大的优势。
编译 | 庞佳 责编 | Leo 出品 | 人工智能头条(公众号ID:AI_Thinker) 【AI 科技大本营按】本文编译自 Adrian Rosebrock 发表在 PyImageSearch 上的一篇博文。该博文缘起于一位网友向原作者请教的两个关于目标检测的问题: 如何过滤或忽略我不感兴趣的类? 如何在目标检测模型中添加新的类?这是否可行? Adrian Rosebrock 认为这两个问题是学习目标检测的同学经常问到的问题,于是创作了本篇文章统一回答。 以下为博文摘录,AI 科技大本营编译: 具体来
AI 科技大本营按:本文编译自 Adrian Rosebrock 发表在 PyImageSearch 上的一篇博文。该博文缘起于一位网友向原作者请教的两个关于目标检测的问题:
自从世界了解人工智能以来,有一个特别的用例已经被讨论了很多。它们是自动驾驶汽车。我们经常在科幻电影中听到、读到甚至看到这些。有人说,我们将在2010年拥有自动驾驶汽车,有人说到2020年,但我们在2021年就实现了,我们刚刚能够解决自动驾驶汽车给世界带来的变化的一角。自动驾驶汽车的一个基本特性,对象检测。
欢迎关注“ 计算机视觉研究院 ” 计算机视觉研究院专栏 作者:Edison_G 扫描二维码 关注我们 微信公众号 : 计算机视觉研究院 机器之心报道 编辑:蛋酱 最近,特斯拉 AI 高级总监 Andrej Karpathy 做了一件很有趣的事情,他把 Yann LeCun 等人 1989 年的一篇论文复现了一遍。一是为了好玩,二是为了看看这 33 年间,深度学习领域到底发生了哪些有趣的变化,当年的 LeCun 到底被什么卡了脖子。此外,他还展望了一下 2055 年的人将如何看待今天的深度学习研究。
目标检测支持许多视觉任务,如实例分割、姿态估计、跟踪和动作识别,这些计算机视觉任务在监控、自动驾驶和视觉答疑等领域有着广泛的应用。随着这种广泛的实际应用,目标检测自然成为一个活跃的研究领域。
点击上方蓝字关注我们 计算机视觉研究院专栏 作者:Edison_G 新框架优于基于单模型的方法,并且以一小部分计算成本与基于多模型的方法相媲美! 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 论文下载|后台回复“主动学习”获取链接 关注并星标 从此不迷路 计算机视觉研究院 1 概括 主动学习旨在通过仅选择数据集上信息量最大的样本来降低标记成本。现有的工作很少涉及对象检测的主动学习。这些方法中的大多数基于多个模型或者是分类方法的直接扩展,因此仅使用分类头来估计图像
目标检测系列: 目标检测(object detection)系列(一) R-CNN:CNN目标检测的开山之作 目标检测(object detection)系列(二) SPP-Net:让卷积计算可以共享 目标检测(object detection)系列(三) Fast R-CNN:end-to-end的愉快训练 目标检测(object detection)系列(四) Faster R-CNN:有RPN的Fast R-CNN 目标检测(object detection)系列(五) YOLO:目标检测的另一种打开方式 目标检测(object detection)系列(六) SSD:兼顾效率和准确性 目标检测(object detection)系列(七) R-FCN:位置敏感的Faster R-CNN 目标检测(object detection)系列(八) YOLOv2:更好,更快,更强 目标检测(object detection)系列(九) YOLOv3:取百家所长成一家之言 目标检测(object detection)系列(十) FPN:用特征金字塔引入多尺度 目标检测(object detection)系列(十一) RetinaNet:one-stage检测器巅峰之作 目标检测(object detection)系列(十二) CornerNet:anchor free的开端 目标检测(object detection)系列(十三) CenterNet:no Anchor,no NMS 目标检测(object detection)系列(十四)FCOS:用图像分割处理目标检测
作者: 叶 虎 编辑: 赵一帆 前 言 本文翻译自Measuring Object Detection models - mAP - What is Mean Average Pr
主动学习旨在通过仅选择数据集上信息量最大的样本来降低标记成本。现有的工作很少涉及目标检测的主动学习。这些方法中的大多数基于多个模型或者是分类方法的直接扩展,因此仅使用分类头来估计图像的信息量。
基于深度学习的目标检测获得了很大的方法。这些方法基本上假定可以获得大规模的训练标签,训练和测试数据服从理想的分布。然而这两个假设在实际中通常不满足。深度域适配目标检测做为一种新的学习范式开始出现,来解决上述问题。这篇文章旨在对最先进的域适配目标检测方法进行综述。首先,我们简要介绍域适配的概念。第二,深度域适配检测器可以分为四类,并提供了每个类别中有代表性的方法的详细说明。最后给出了将来的研究趋势。
在本文中,我们提出了一种在RGB-D场景中,在目标周围放置三维包围框的技术。我们的方法充分利用二维信息,利用最先进的二维目标检测技术,快速减少三维搜索空间。然后,我们使用3D信息来定位、放置和对目标周围的包围框进行评分。我们使用之前利用常规信息的技术,独立地估计每个目标的方向。三维物体的位置和大小是用多层感知器(MLP)学习的。在最后一个步骤中,我们根据场景中的目标类关系改进我们的检测。最先进的检测方法相比,操作几乎完全在稀疏的3D域,在著名的SUN RGB-D实验数据集表明,我们建议的方法要快得多(4.1 s /图像)RGB-D图像中的3目标检测和执行更好的地图(3)高于慢是4.7倍的最先进的方法和相对慢两个数量级的方法。这一工作提示我们应该进一步研究3D中2D驱动的目标检测,特别是在3D输入稀疏的情况下。
现有的旋转目标检测器大多继承自水平检测范式,因为后者已经发展成为一个成熟的领域。 然而,由于当前回归损失设计的局限性,尤其是对于大纵横比的目标,这些检测器难以在高精度检测中突出表现。 本文从水平检测是旋转物体检测的一种特殊情况出发,从旋转与水平检测的关系出发,将旋转回归损失的设计从归纳范式转变为演绎方法。 在动态联合优化过程中,估计的参数会以自适应和协同的方式相互影响,因此如何调节旋转回归损失中的耦合参数是一个关键的挑战。 具体来说,我们首先将旋转的包围框转换为二维高斯分布,然后计算高斯分布之间的Kullback-Leibler Divergence (KLD)作为回归损失。 通过对各参数梯度的分析,我们发现KLD(及其导数)可以根据对象的特性动态调整参数梯度。 它将根据长宽比调整角度参数的重要性(梯度权重)。 这种机制对于高精度检测是至关重要的,因为对于大纵横比物体,轻微的角度误差会导致严重的精度下降。 更重要的是,我们证明了KLD是尺度不变的。 我们进一步证明了KLD损失可以退化为流行的 损失用于水平检测。
在进行文件操作时,有时可能会遇到文件不存在的错误,其中一个常见的错误是FileNotFoundError: [Errno 2] No such file or directory。该错误意味着程序无法找到指定路径下的文件或目录。在本篇文章中,我们将探讨一些解决这个错误的方法。
论文:Active Learning for Deep Object Detection via Probabilistic Modeling
技术解析是由美团点评无人配送部技术团队主笔,每期发布一篇无人配送领域相关技术解析或应用实例,上期我们讲了激光雷达相关原理和非深度学习的目标检测算法,这一期我们来讲讲基于深度学习相关算法
监控是安保和巡查一个不可或缺的组成部分。在大多数情况下,这项工作需要长时间去查找一些你不期望发生的事。我们做的这件事很重要,但也是一项非常乏味的任务。
你知道的,昨晚在我在看《行尸走肉》时,不是享受僵尸野蛮和被迫吃人,或引人入胜的故事情节,我只想建立一个目标检测系统来对僵尸进行识别。
这个问题很难回答,因为第一我对时尚无感,而 Yumi 则刚好相反,她拥有一个时装设计学位。第二,我记不住过去几周她穿过什么衣服,所以没法提供多样化的答案。
对于目前绝大多数的交通监控而言,依旧是沿用传统的管理模式。随着国民经济的日益发展和交通产业需求的日益增长,智能交通视觉系统的发展将趋向用机器视觉下的图像处理技术进行实时监测。通过摄像头辅助监测,相对于其他检测方法, 摄像头价格低廉, 安装容易, 对现有的交通枢纽进行摄像头安装时不需要太大的改动, 后期维护方便;并且一个摄像头可以同时监控多个目标, 大大减少了前期硬件安装的工作量,因此基于视频图像检测任务有很好的应用前景。
多雾天气给户外摄像监控系统带来了很多困难。在雾天,介质的光学衰减和散射效应会使场景辐射产生明显的畸变和退化,使其变得嘈杂和难以分辨。针对这一问题,本文提出了一种基于颜色和深度域的目标检测方法。为了防止错误传播问题,我们在训练过程之前清除深度信息,并从数据库中删除错误样本。采用区域自适应策略自适应地融合颜色域和深度域的决策。在实验中,我们评估了深度信息对雾天目标检测的贡献。通过与其他方法的比较,实验验证了多域自适应策略的优越性。
1、摘要 在目标检测中,定位和分类相结合的复杂性导致了方法的蓬勃发展。以往的工作试图提高各种目标检测头的性能,但未能给出一个统一的视图。在本文中,我们提出了一种新的动态头网络框架,以统一目标检测头部与注意。该方法通过将特征层次间、空间位置间、任务感知输出通道内的多自注意机制相结合,在不增加计算开销的情况下显著提高了目标检测头的表示能力。进一步的实验证明了所提出的动态头在COCO基准上的有效性和效率。有了标准的ResNeXt-101-DCN主干网,我们在很大程度上提高了性能,超过了流行的目标检测器,并在54.0 AP达到了新的最先进水平。此外,有了最新的变压器主干网和额外的数据,我们可以将当前的最佳COCO结果推至60.6 AP的新记录。 2、简介 物体检测是回答计算机视觉应用中“什么物体位于什么位置”的问题。在深度学习时代,几乎所有现代目标检测器[11,23,12,35,28,31,33]都具有相同的范式——特征提取的主干和定位和分类任务的头部。如何提高目标检测头的性能已成为现有目标检测工作中的一个关键问题。 开发一个好的目标检测头的挑战可以概括为三类。首先,头部应该是尺度感知的,因为多个具有极大不同尺度的物体经常共存于一幅图像中。其次,头部应该是空间感知的,因为物体通常在不同的视点下以不同的形状、旋转和位置出现。第三,头部需要具有任务感知,因为目标可以有不同的表示形式(例如边界框[12]、中心[28]和角点[33]),它们拥有完全不同的目标和约束。我们发现最近的研究[12,35,28,31,33]只关注于通过各种方式解决上述问题中的一个。如何形成一个统一的、能够同时解决这些问题的头,仍然是一个有待解决的问题。 本文提出了一种新的检测头,即动态头,将尺度感知、空间感知和任务感知结合起来。如果我们把一个主干的输出(即检测头的输入)看作是一个具有维级×空间×通道的三维张量,我们发现这样一个统一的头可以看作是一个注意学习问题。一个直观的解决方案是在这个张量上建立一个完整的自我注意机制。然而,优化问题将是太难解决和计算成本是不可承受的。 相反地,我们可以将注意力机制分别部署在功能的每个特定维度上,即水平层面、空间层面和渠道层面。尺度感知的注意模块只部署在level维度上。它学习不同语义层次的相对重要性,以根据单个对象的规模在适当的层次上增强该特征。空间感知注意模块部署在空间维度上(即高度×宽度)。它学习空间位置上的连贯区别表征。任务感知的注意模块部署在通道上。它根据对象的不同卷积核响应指示不同的特征通道来分别支持不同的任务(如分类、框回归和中心/关键点学习)。 这样,我们明确实现了检测头的统一注意机制。虽然这些注意机制分别应用于特征张量的不同维度,但它们的表现可以相互补充。在MS-COCO基准上的大量实验证明了我们的方法的有效性。它为学习更好的表示提供了很大的潜力,可以利用这种更好的表示来改进所有类型的对象检测模型,AP增益为1:2% ~ 3:2%。采用标准的ResNeXt-101-DCN骨干,所提出的方法在COCO上实现了54:0%的AP新状态。此外,与EffcientDet[27]和SpineNet[8]相比,动态头的训练时间为1=20,但表现更好。此外,通过最新的变压器主干和自我训练的额外数据,我们可以将目前的最佳COCO结果推至60.6 AP的新纪录(详见附录)。 2、相关工作 近年来的研究从尺度感知、空间感知和任务感知三个方面对目标检测器进行了改进。 Scale-awareness. 由于自然图像中经常同时存在不同尺度的物体,许多研究都认为尺度感知在目标检测中的重要性。早期的研究已经证明了利用图像金字塔方法进行多尺度训练的重要性[6,24,25]。代替图像金字塔,特征金字塔[15]被提出,通过将下采样卷积特征串接一个金字塔来提高效率,已经成为现代目标检测器的标准组件。然而,不同层次的特征通常从网络的不同深度中提取,这就造成了明显的语义差距。为了解决这种差异,[18]提出了从特征金字塔中自下而上的路径增强较低层次的特征。后来[20]通过引入平衡采样和平衡特征金字塔对其进行了改进。最近,[31]在改进的三维卷积的基础上提出了一种金字塔卷积,可以同时提取尺度和空间特征。在这项工作中,我们提出了一个尺度感知注意在检测头,使各种特征级别的重要性自适应的输入。 Spatial-awareness. 先前的研究试图提高物体检测中的空间意识,以更好地进行语义学习。卷积神经网络在学习图像[41]中存在的空间变换方面是有限的。一些工作通过增加模型能力(大小)[13,32]或涉及昂贵的数据扩展[14]来缓解这个问题,这导致了在推理和训练中极高的计算成本。随后,提出了新的卷积算子来改进空间变换的学习。[34]提出使用膨胀卷积来聚合来自指数扩展的接受域的上下文信息。[7]提出了一种可变形的卷积来对具有额外自学习偏移量的
第一个问题的重要性并未得到足够的重视。一般来讲,预处理(数据收集、数据清洗、数据标注)占据了一个AI算法的至少80%时间。因此,我们希望以最小的投入获取最大的回报。
语义分割任务目标是输入一个图像,然后对每个像素都进行分类,如下图左,将一些像素分类为填空,一些分类为树等等。需要注意的是,语义分割单纯地对每个像素分类,因此不会区分同类目标,比如下图右边有两头牛,但是分类的结果中不会将两头牛区分开来,而是一视同仁,这也是语义分割的一个缺点。
本文为美团点评无人配送部技术团队主笔,为您带来的是自动驾驶中的激光雷达目标检测。(本文来源:美团无人配送)
ChatGPT是什么,我就不用再多介绍了吧!相信大家已经看到了它在文本领域所展现出来的实力,虽然目前的效果依旧无法比拟专业文字工作者,但其文字能力也超过了绝大多数普通人,主要还相当的便宜,让不少文字相关工作者瑟瑟发抖。不过今天我们不讨论它的文字能力,而是讨论下它的代码能力。
在有雾的情况下,能见度下降,造成许多问题。由于大雾天气,能见度降低会增加交通事故的风险。在这种情况下,对附近目标的检测和识别以及对碰撞距离的预测是非常重要的。有必要在有雾的情况下设计一个目标检测机制。针对这一问题,本文提出了一种VESY(Visibility Enhancement Saliency YOLO)传感器,该传感器将雾天图像帧的显著性映射与目标检测算法YOLO (You Only Look Once)的输出融合在一起。利用立体相机中的图像传感器对图像进行检测,利用雾传感器激活图像传感器,生成深度图来计算碰撞距离。采用去雾算法对基于区域协方差矩阵的显著性图像帧进行质量改进。在改进后的图像上实现了YOLO算法。提出的融合算法给出了Saliency Map和YOLO算法检测到的目标并集的边界框,为实时应用提供了一种可行的解决方案。
如图1所示,还为具有较低计算能力的边缘计算设备设计了参数较少的轻量化模型,这也显示了更好的性能。 github:https://github.com/LSH9832/edgeyolo
本文介绍一篇很棒的小目标检测数据增广论文。该论文是由Tensorflight 提出。之前Amazon提出目标检测训练的Tricks论文,详见 亚马逊提出:目标检测训练秘籍(代码已开源)
在本文中,我将介绍如何在 Docker 容器中使用 Tensorflow Object-detection API 来执行实时(网络摄像头)和视频的目标检测。我使用 OpenCV 和 python3 的多任务处理库 multiprocessing、多线程库 multi-threading。
本文在学习《Tensorflow object detection API 搭建属于自己的物体识别模型(2)——训练并使用自己的模型》的基础上优化并总结,此博客链接:https://blog.csdn.net/dy_guox/article/details/79111949,感谢此博客作者。
随着机器视觉和深度卷积神经网络(CNNs)被应用于新的问题和数据,网络架构的进步和这些网络的应用都得到了快速的发展。然而,在大多数分类和目标检测应用中,图像数据是这样的,感兴趣的对象相对于场景来说是很大的。这可以在最流行的公共基准数据集ImageNet、VOC、COCO和CIFAR中观察到。这些数据集和它们对应的挑战赛继续推进网络架构比如SqueezeNets, Squeeze-and-Excitation Networks, 和 Faster R-CNN。对于DigitalGlobe的WorldView-3卫星将每个像素表示为30平方厘米的区域的卫星数据。在这些场景中,在大于3000x3000的场景中像汽车这样的物体通常是13x7像素或更小。这些大型场景需要预处理,以便在现代目标检测网络中使用,包括将原始场景切割成更小的组件用于训练和验证。除此之外,在停车场和繁忙的道路等区域,车辆等物体往往位于较近的位置,这使得车辆之间的边界在卫星图像中难以感知。缺乏公共可用的标记数据也阻碍了对这个应用程序空间的探索,只有xView Challenge数据集拥有卫星捕获的带有标记对象的图像。等空中数据集分类细粒度特性在空中图像(COFGA),大规模数据集在空中图像(队伍),对象检测和汽车开销与上下文(COWC)也有类似的对象类,但存在一个较低的地面样本距离(德牧)使他们更容易获得良好的对象检测结果,但限制了实际应用。考虑到将CNNs应用于卫星数据所面临的挑战,将升级作为预处理步骤对实现准确探测目标的良好性能至关重要。深度学习的进步导致了许多先进的体系结构可以执行升级,在低分辨率图像上训练网络,并与高分辨率副本进行对比验证。尽管关于这一主题的文献越来越多,但超分辨率(SR)在目标检测和分类问题上的应用在很大程度上还没有得到探索,SR与最近邻(NN)插值等也没有文献记载。SR网络作为卫星图像中目标检测的预处理步骤,具有良好的应用前景,但由于其深度网络包含数百万个必须正确训练的参数,因此增加了大量的计算成本。与SR不同的是,NN仍然是最基本的向上缩放方法之一,它通过取相邻像素并假设其值来执行插值,从而创建分段阶跃函数逼近,且计算成本很小。
在这篇文章中,我将概述用于基于卷积神经网络(CNN)的目标检测的深度学习技术。目标检测是很有价值的,可用于理解图像内容、描述图像中的事物以及确定目标在图像中的位置。
ILSVRC(ImageNet Large Scale Visual Recognition Challenge)是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一,代表了图像领域的最高水平。
要导入的文件在temp.py的同级的目录images文件夹下那么应该保证要导入的文件
半监督物体检测,旨在探索未标记的数据以提高物体检测器,近年来已成为一项活跃的任务。然而,现有的SSOD方法主要集中在水平方向的物体上,而对航空图像中常见的多方向物体则没有进行探索。本文提出了一个新颖的半监督定向物体检测模型,称为SOOD,建立在主流的伪标签框架之上。针对空中场景中的定向物体,我们设计了两个损失函数来提供更好的监督。针对物体的方向,第一个损失对每个伪标签-预测对(包括一个预测和其相应的伪标签)的一致性进行了规范化处理,并根据它们的方向差距进行了适应性加权。第二种损失侧重于图像的布局,对相似性进行规范化,并明确地在伪标签和预测的集合之间建立多对多的关系。这样的全局一致性约束可以进一步促进半监督学习。我们的实验表明,当用这两个提议的损失进行训练时,SOOD在DOTA v1.5基准的各种设置下超过了最先进的SSOD方法。
论文地址:https://arxiv.org/pdf/2103.09460.pdf
在编写程序时,可能会经常报出一些异常,很大一方面原因是自己的疏忽大意导致程序给出错误信息,另一方面是因为有些异常是程序运行时不可避免的,比如:在爬虫时可能有几个网页的结构不一致,这时两种结构的网页用同一套代码就会出错
paper:https://arxiv.org/pdf/2203.16527.pdf
【GaintPanda导语】这是关于GiraffeDet的论文详读,该论文提出以S2D Chain为组合模块,构建light backbone,再以Queen Fuse和Skip Connect构建GFPN作为颈部模块,与以往检测器的backbone>neck(FLOPS)的构建方式不同,GiraffeDet的neck在参数量和计算量上远超backbone。
深度学习提供了另一种解决“Wally在哪儿”(美国漫画)问题的方法。与传统的图像处理计算机视觉方法不同的是,它只使用了少量的标记出Wally位置的示例。 在我的Github repo上发布了具有评估图像和检测脚本的最终训练模型。 Github repo地址:https://github.com/tadejmagajna/HereIsWally 这篇文章描述了使用Tensorflow目标检测API来训练神经网络的过程,并使用围绕它构建的Python脚本来寻找Wally。它由以下步骤组成: 通过创建一组标记训练
领取专属 10元无门槛券
手把手带您无忧上云