首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Towards Precise Supervision of Feature Super-Resolution

    虽然最近基于proposal的CNN模型在目标检测方面取得了成功,但是由于小兴趣区域(small region of interest, RoI)所包含的信息有限且失真,小目标的检测仍然比较困难。解决这一问题的一种方法是使用超分辨率(SR)技术来增强小型roi的特性。我们研究如何提高级的超分辨率特别是对小目标检测,并发现它的性能可以显著提高了(我)利用适当的高分辨率目标特性作为SR的训练监督信号模型和(2)匹配输入的相对接受训练领域对低分辨率的特性和目标高分辨率特性。我们提出了一种新颖的特征级超分辨率方法,它不仅能正确地解决这两个问题,而且可以与任何基于特征池的检测器集成。在我们的实验中,我们的方法显著提高了Faster R-CNN在清华-腾讯100K、PASCAL VOC和MS COCO三个基准上的性能。对于小目标的改进是非常大的,令人鼓舞的是,对于中、大目标的改进也不是微不足道的。因此,我们在清华-腾讯100K上取得了最新的技术水平,在PASCAL VOC和MS COCO上取得了极具竞争力的成绩。

    00

    Super-Resolution on Object Detection Performance in Satellite Imagery

    探讨了超分辨率技术在卫星图像中的应用,以及这些技术对目标检测算法性能的影响。具体来说,我们提高了卫星图像的固有分辨率,并测试我们能否以比固有分辨率更高的精度识别各种类型的车辆、飞机和船只。使用非常深的超分辨率(VDSR)框架和自定义随机森林超分辨率(RFSR)框架,我们生成了2×、4×和8×的增强级别,超过5个不同的分辨率,范围从30厘米到4.8米不等。使用本地和超解析数据,然后使用SIMRDWN对象检测框架训练几个定制的检测模型。SIMRDWN将许多流行的目标检测算法(如SSD、YOLO)组合成一个统一的框架,用于快速检测大型卫星图像中的目标。这种方法允许我们量化超分辨率技术对跨多个类和分辨率的对象检测性能的影响。我们还量化了目标检测的性能作为一个函数的本机分辨率和目标像素大小。对于我们的测试集,我们注意到性能从30 cm分辨率下的平均精度(mAP) = 0.53下降到4.8 m分辨率下的mAP = 0.11。从30厘米图像到15厘米图像的超级分辨效果最好;mAP改进了13 - 36%。对于较粗的分辨率而言,超级分辨率的好处要小一些,但仍然可以在性能上提供小的改进。

    00

    PGA-Net:基于金字塔特征融合与全局上下文注意力网络的自动表面缺陷检测

    缺陷检测是工业产品处理中的一项重要任务。当前,已经有很多基于计算机视觉技术的检测方法成功应用于工业领域并取得了较好的检测结果。然而,受限于类间表面缺陷的内在复杂性,使得实现完全自动的缺陷检测仍然面临巨大挑战。虽然,类间缺陷包含相似的部分,但是缺陷的表面仍然存在较大的不同。为了解决这个问题,论文提出了一种金字塔特征融合与全局上下文注意力网络的逐像素表面缺陷检测方法,并命名为PGA-Net。在这个框架中,首先从骨干网络提取多尺度特征。然后,使用金字塔特征融合模块,通过一些有效的跳连接操作将5个不同分辨率的特征进行融合。最后,再将全局上下文注意模块应用于相邻分辨率的融合特征,这使得有效信息从低分辨率融合特征图传播到高分辨率融合特征图。另外,在框架中还加入边界细化模块,细化缺陷边界,提高预测结果。实验结果证明,所提方法在联合平均交点和平均像素精度方面优于对比方法。

    01

    在小目标检测上另辟蹊径的SNIP

    相信大家都或多或少的熟悉一些检测器,不知道你是否思考过这样一个问题?FPN的多特征图融合方式一定是最好的吗?如果你看过【CV中的特征金字塔】一,工程价值极大的ASFF这篇论文的话,你应该知道这篇论文的出发点就是如何对不同尺度的特征做自适应特征融合(感觉也可以叫作FPN+Attention),而非【CV中的特征金字塔】二,Feature Pyramid Network那样较为暴力的叠加(不知道这个说法是否稳妥,有意见欢迎来提)。而今天要介绍的这个SNIP(「An Analysis of Scale Invariance in Object Detection – SNIP」)算法,是CVPR 2018的文章,它的效果比同期的目标检测算法之CVPR 2018 Cascade R-CNN效果还好一些。为什么说这个算法是另辟蹊径呢?因为这个算法从COCO数据集开始分析,作者认为目标检测算法的难点在于「数据集中目标的尺寸分布比较大,尤其对小目标的检测效果不太好」,然后提出了本文的SNIP算法。

    02

    全新SOTA骨干网络HIRI-ViT | 大力出奇迹,高分辨率+双路径设计,让Backbone卖力生产精度

    受到自然语言处理(NLP)[1]中占主导地位的Transformer结构的启发,计算机视觉(CV)领域见证了Vision Transformer(ViT)在视觉 Backbone 设计上的崛起。这一趋势在图像/动作识别[2, 3, 4, 5]和密集预测任务(如目标检测[6])中表现得最为明显。这些成功中的许多都可以归因于通过传统Transformer块中的自注意力机制对输入视觉token之间的长距离交互的灵活建模。最近,几项并行研究[7, 8, 9, 10, 11]指出,直接在视觉token序列上应用纯Transformer块是次优的。这种设计不可避免地缺乏对2D区域结构建模的正确感应偏差。为了缓解这一限制,它们引领了将卷积神经网络(CNN)的2D感应偏差注入ViT的新浪潮,产生了CNN+ViT混合 Backbone 。

    01

    A Comparison of Super-Resolution and Nearest Neighbors Interpolation

    随着机器视觉和深度卷积神经网络(CNNs)被应用于新的问题和数据,网络架构的进步和这些网络的应用都得到了快速的发展。然而,在大多数分类和目标检测应用中,图像数据是这样的,感兴趣的对象相对于场景来说是很大的。这可以在最流行的公共基准数据集ImageNet、VOC、COCO和CIFAR中观察到。这些数据集和它们对应的挑战赛继续推进网络架构比如SqueezeNets, Squeeze-and-Excitation Networks, 和 Faster R-CNN。对于DigitalGlobe的WorldView-3卫星将每个像素表示为30平方厘米的区域的卫星数据。在这些场景中,在大于3000x3000的场景中像汽车这样的物体通常是13x7像素或更小。这些大型场景需要预处理,以便在现代目标检测网络中使用,包括将原始场景切割成更小的组件用于训练和验证。除此之外,在停车场和繁忙的道路等区域,车辆等物体往往位于较近的位置,这使得车辆之间的边界在卫星图像中难以感知。缺乏公共可用的标记数据也阻碍了对这个应用程序空间的探索,只有xView Challenge数据集拥有卫星捕获的带有标记对象的图像。等空中数据集分类细粒度特性在空中图像(COFGA),大规模数据集在空中图像(队伍),对象检测和汽车开销与上下文(COWC)也有类似的对象类,但存在一个较低的地面样本距离(德牧)使他们更容易获得良好的对象检测结果,但限制了实际应用。考虑到将CNNs应用于卫星数据所面临的挑战,将升级作为预处理步骤对实现准确探测目标的良好性能至关重要。深度学习的进步导致了许多先进的体系结构可以执行升级,在低分辨率图像上训练网络,并与高分辨率副本进行对比验证。尽管关于这一主题的文献越来越多,但超分辨率(SR)在目标检测和分类问题上的应用在很大程度上还没有得到探索,SR与最近邻(NN)插值等也没有文献记载。SR网络作为卫星图像中目标检测的预处理步骤,具有良好的应用前景,但由于其深度网络包含数百万个必须正确训练的参数,因此增加了大量的计算成本。与SR不同的是,NN仍然是最基本的向上缩放方法之一,它通过取相邻像素并假设其值来执行插值,从而创建分段阶跃函数逼近,且计算成本很小。

    03
    领券