首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

深度学习时代下的RGB-D显著性目标检测研究进展

摘要:受人类的视觉注意力机制启发,显著性目标检测任务旨在定位给定场景中最吸引人注意的目标或区域。近年来, 随着深度相机的发展和普及, 深度图像已经被成功应用于各类计算机视觉任务, 这也为显著性目标检测技术提供了新思路。通过引入深度图像, 不仅能使计算机更加全面地模拟人类视觉系统, 而且深度图像所提供的结构、位置等补充信息也可以为低对比度、复杂背景等困难场景的检测提供新的解决方案。鉴于深度学习时代下RGB-D显著目标检测任务发展迅速,旨在从该任务关键问题的解决方案出发,对现有相关研究成果进行归纳、总结和梳理,并在常用RGB-D SOD数据集上进行不同方法的定量分析和定性比较。最后, 对该领域面临的挑战及未来的发展趋势进行总结与展望。

04
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    A Shape Transformation-based Dataset Augmentation Framework for Pedestrian Detection

    基于深度学习的计算机视觉通常需要数据。许多研究人员试图用合成数据来增强数据集,以提高模型的稳健性。然而,增加流行的行人数据集,如加州理工学院和城市人,可能极具挑战性,因为真实的行人通常质量较低。由于遮挡、模糊和低分辨率等因素,现有的增强方法非常困难,这些方法通常使用3D引擎或生成对抗性网络(GAN)合成数据,以生成逼真的行人。与此不同的是,为了访问看起来更自然的行人,我们建议通过将同一数据集中的真实行人转换为不同的形状来增强行人检测数据集。因此,我们提出了基于形状变换的数据集增强(STDA)框架。 所提出的框架由两个后续模块组成,即形状引导变形和环境适应。在第一个模块中,我们引入了一个形状引导的翘曲场,以帮助将真实行人的形状变形为不同的形状。然后,在第二阶段,我们提出了一种环境感知混合映射,以更好地将变形的行人适应周围环境,获得更逼真的行人外观和更有益的行人检测增强结果。对不同行人检测基准的广泛实证研究表明,所提出的STDA框架始终比使用低质量行人的其他行人合成方法产生更好的增强结果。通过扩充原始数据集,我们提出的框架还将基线行人检测器在评估基准上提高了38%,实现了最先进的性能。

    02

    学生课堂行为识别教学质量评估算法

    学生课堂行为识别教学质量评估算法利用教室安装的摄像头,学生课堂行为识别教学质量评估算法对学生的表情状态、课堂表现和互动行为进行全面监测。对学生的参与度、专注度、互动质量等进行评估,为教师提供有关教学效果的实时反馈。可以为教师提供个性化的教学建议和资源,使教学更加针对性和有效性。学生课堂行为识别教学质量评估算法使用到的YOLO框架模型,其全称是You Only Look Once: Unified, Real-Time Object Detection,其实个人觉得这个题目取得非常好,基本上把Yolo算法的特点概括全了:You Only Look Once说的是只需要一次CNN运算,Unified指的是这是一个统一的框架,提供end-to-end的预测,而Real-Time体现是Yolo算法速度快。这里我们谈的是Yolo-v1版本算法,其性能是差于后来的SSD算法的,但是Yolo后来也继续进行改进,产生了Yolo9000算法。本文主要讲述Yolo-v1算法的原理,特别是算法的训练与预测中详细细节,最后将给出如何使用TensorFlow实现Yolo算法。

    02

    EF-Net一种适用于双流SOD的有效检测模型(Pattern Recognition)

    显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图,现有模型的检测结果都不是很理想。为了解决这一问题,该文提出了一种新型多模态增强融合网络(EF-Net),用于有效的RGB-D显性检测。具体来说,首先仅仅利用RGB图像提示映射模块来预测提示映射,编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图,从而抑制噪声并锐化对象边界。最后,该文构造了分层聚合模块,用于融合增强后的深度图与RGB图像中提取的特征,以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测,充分利用了RGB图像和深度图中的信息,有效地解决了深度图的低质量问题,显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明,该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。

    02

    EF-Net一种适用于双流SOD的有效检测模型(Pattern Recognition)

    显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图,现有模型的检测结果都不是很理想。为了解决这一问题,该文提出了一种新型多模态增强融合网络(EF-Net),用于有效的RGB-D显性检测。具体来说,首先仅仅利用RGB图像提示映射模块来预测提示映射,编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图,从而抑制噪声并锐化对象边界。最后,该文构造了分层聚合模块,用于融合增强后的深度图与RGB图像中提取的特征,以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测,充分利用了RGB图像和深度图中的信息,有效地解决了深度图的低质量问题,显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明,该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。

    01

    浅谈端到端质量检测和故障诊断

    “鹅厂网事”由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台,为支撑腾讯公司业务持续发展,为业务建立竞争优势、构建行业健康生态而持续贡献价值! 小编:常常听到业务同学和小网工在网络的丢包上面你来我往,业务同学表示万分之三的丢包不能接受,小网工摸着胸口说,这个世界

    06

    综述|工业金属平面材料表面缺陷自动视觉检测的研究进展

    基于计算机视觉的金属材料表面缺陷检测是冶金工业领域的研究热点。在金属制造行业中,高标准的平面质量要求自动视觉检查系统及其算法的性能必须不断提高。本文基于对钢,铝,铜板和带钢的一些典型金属平面材料产品的160多种出版物的综述,试图对二维和三维表面缺陷检测技术进行全面的综述。根据算法的属性和图像特征,现有的二维方法分为四类:统计方法,光谱方法,模型方法和基于机器学习的方法。在三维数据采集的基础上,三维技术分为立体视觉,光度立体,激光扫描仪和结构化光测量方法。本文将分析和比较这些经典算法和新兴方法。最后,对视觉缺陷检测的剩余挑战和未来的研究趋势进行了讨论和预测。

    02

    AI课堂教学质量评估系统算法

    AI课堂教学质量评估系统算法通过yolov7网络模型框架利用摄像头和人脸识别技术,AI课堂教学质量评估系统算法实时监测学生的上课表情和课堂行为。同时,还结合语音识别技术和听课专注度分析算法,对学生的听课专注度进行评估,生成教学质量报告,并提供针对性的改进建议,帮助教师发现问题并进行针对性的改进,提升教学效果。AI课堂教学质量评估系统算法之所以选择yolov7框架模型,相对于其他类型的工具,YOLOv7-E6 目标检测器(56 FPS V100,55.9% AP)比基于 transformer 的检测器 SWINL Cascade-Mask R-CNN(9.2 FPS A100,53.9% AP)速度上高出 509%,精度高出 2%,比基于卷积的检测器 ConvNeXt-XL Cascade-Mask R-CNN (8.6 FPS A100, 55.2% AP) 速度高出 551%,精度高出 0.7%。

    04

    FCOS: Fully Convolutional One-Stage Object Detection

    我们提出一种全卷积的单阶段目标检测器(FCOS),以逐像素预测的方式解决目标检测问题,类似于语义分割。几乎所有最先进的目标探测器,如RetinaNet、SSD、YOLOv3和Faster R-CNN,都依赖于预定义的锚盒。相比之下,我们提出的探测器FCOS是Anchor Free,以及proposal自由。通过消除预定义的锚盒集合,FCOS完全避免了与锚盒相关的复杂计算,例如在训练过程中计算IoU。更重要的是,我们还避免了所有与锚盒相关的超参数,这些超参数通常对最终检测性能非常敏感。通过唯一的后处理非最大抑制(NMS),使用ResNeXt-64x4d-101的FCOS在单模型和单尺度测试下,AP达到44.7%,超越了以往单阶段检测器。我们首次演示了一个更简单、更灵活的检测框架,从而提高了检测精度。我们希望所提出的FCOS框架可以作为许多其他实例级任务的简单而强大的替代方案。

    02

    Analytical Chemistry | 深度学习实现高分辨率LC-MS数据中的精确峰检测

    液相色谱与质谱联用(LC-MS)是代谢组学中最受欢迎的分析平台之一。尽管基于LC-MS的代谢组学应用程序种类繁多以及分析硬件的发展,但是LC-MS数据的处理仍然遇到一些问题。最关键的瓶颈之一是原始数据处理,LC-MS原始数据通常由成千上万的原始MS质谱图组成;每个光谱都有其自己的序列号,并且该数目随保留时间(RT)的增加而增加。这些数据通常包含数千个信号,使得手动数据处理几乎变得不可能。当前用于自动LC-MS数据处理的流程通常包括以下步骤:(1)检测感兴趣区域(ROI);(2)检测色谱峰,然后对其进行积分;(3)所有样品的峰匹配(分组);(4)通过注释相应的加合物和碎片离子将属于同一代谢物的峰聚类为一组。

    06

    AI换脸无法识别?这里有个方法

    现在,操纵视觉内容已经很普遍,也是数字社会中最重要的话题之一。比如,DeepFakes 展示了如何使用计算机图形学和视觉技术进行视频换脸,进而破坏别人的声誉。人脸是目前视觉内容操纵方法的主要兴趣点,这有很多原因。首先,人脸重建和追踪是计算机视觉中比较成熟的领域,而它正是这些编辑方法的基础。其次,人脸在人类沟通中起核心作用,因为人脸可以强调某个信息,甚至可以传达某个信息。目前的人脸操纵(facial manipulation)方法分为两类:面部表情操纵和面部身份操纵(见图 2)。最著名的面部表情操纵技术之一 Face2Face 来自于 Thies 等人 [48]。它可基于商用硬件,将一个人的面部表情实时迁移至另一个人。后续的研究(如《Synthesizing Obama: learning lip sync from audio》[45])能够基于音频输入序列使人脸动起来。《Bringing portraits to life》[8] 可以编辑图像中的面部表情。

    04

    CVPR2020最佳检测 | 带有注意力RPN和多关系检测器的小样本目标检测网络

    传统的目标检测方法通常需要大量的训练数据,并且准备这样高质量的训练数据是劳动密集型的(工作)。在本文中,我们提出了少量样本的目标检测网络,目的是检测只有几个训练实例的未见过的类别对象。我们的方法的核心是注意力RPN和多关系模块,充分利用少量训练样本和测试集之间的相似度来检测新对象,同时抑制背景中的错误检测。为了训练我们的网络,我们已经准备了一个新的数据集,它包含1000类具有高质量注释的不同对象。据我们所知,这也是第一个数据集专门设计用于少样本目标检测。一旦我们的网络被训练,我们可以应用对象检测为未见过的类,而无需进一步的训练或微调。我们的方法是通用的,并且具有广泛的应用范围。我们证明了我们的方法在不同的数据集上的定性和定量的有效性。

    03
    领券