专栏首页arxiv.org翻译专栏通过特征去样式化识别Instagram过滤图像(CS CV)
原创

通过特征去样式化识别Instagram过滤图像(CS CV)

当加入小扰动(如高斯噪声)时,深度神经网络表现出较差的泛化能力,然而很少有人研究它们对更自然的图像转换(如照片过滤器)的鲁棒性。这篇文章研究了常用的预训练模型如何被常用的Instagram滤镜所影响。为此,我们介绍了ImageNet-Instagram,它是ImageNet的一个过滤版本,在ImageNet中每个图像都应用了20个流行的Instagram过滤器。我们的分析表明,简单的结构保留滤波器只改变图像的整体外观,会导致卷积特征空间的巨大差异。为了提高通用性,我们引入了一个轻量级的去样式化模块,该模块可以预测用于缩放和移动特征映射的参数,从而“撤消”由过滤器引起的更改,从而逆转样式转换任务的过程。我们进一步证明,该模块可以很容易地插入到现代的CNN架构中,并带有跳过连接。我们在ImageNet-Instagram上进行了大量的研究,通过定量和定性地表明,我们所提出的模块除了其他功能外,还可以通过简单地学习规格化参数而无需对整个网络进行再训练,从而有效地提高泛化能力并且恢复由滤波器引起的特征空间的变化。

原文题目:Recognizing Instagram Filtered Images with Feature De-stylization

原文:Deep neural networks have been shown to suffer from poor generalization when small perturbations are added (like Gaussian noise), yet little work has been done to evaluate their robustness to more natural image transformations like photo filters. This paper presents a study on how popular pretrained models are affected by commonly used Instagram filters. To this end, we introduce ImageNet-Instagram, a filtered version of ImageNet, where 20 popular Instagram filters are applied to each image in ImageNet. Our analysis suggests that simple structure preserving filters which only alter the global appearance of an image can lead to large differences in the convolutional feature space. To improve generalization, we introduce a lightweight de-stylization module that predicts parameters used for scaling and shifting feature maps to "undo" the changes incurred by filters, inverting the process of style transfer tasks. We further demonstrate the module can be readily plugged into modern CNN architectures together with skip connections. We conduct extensive studies on ImageNet-Instagram, and show quantitatively and qualitatively, that the proposed module, among other things, can effectively improve generalization by simply learning normalization parameters without retraining the entire network, thus recovering the alterations in the feature space caused by the filters.

原文作者:Zhe Wu,Zuxuan Wu,Bharat Singh,Larry S. Davis

原文地址:https://arxiv.org/abs/1912.13000

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CONSAC:基于条件样本一致性的鲁棒多模型拟合(CS CV)

    本文提出了一种基于噪声测量的多参数模型的鲁棒估计方法。应用包括在人造场景中寻找多个消失点,将平面拟合到建筑图像中,或在同一序列中估计多个刚性运动。与以往的多模型...

    DANDAN用户6837186
  • AdderNet:我们真的需要深度学习中的乘法运算吗?(Computer Vision and Pattern Recognition)

    与简单的加法运算相比,乘法运算具有更高的计算复杂度。在深度神经网络中被广泛使用的卷积正是通过互相关来度量输入特征与卷积滤波器之间的相似性,这就涉及到浮点值之间的...

    DANDAN用户6837186
  • 桥接知识图以生成场景图(cs CV)

    场景图是强大的表示形式,可将图像编码为抽象的语义元素(即对象及其相互作用),从而有助于视觉理解和可解释的推理。另一方面,常识知识图是丰富的存储库,可编码世界的结...

    DANDAN用户6837186
  • Check if a Thread Is Main Thread in Android

    How to check a certain thread is the main one or not in Android? You may say it ...

    技术小黑屋
  • 查看python的模块和函数帮助文档方法

    进入help帮助文档界面,根据屏幕提示可以继续键入相应关键词进行查询,继续键入modules可以列出当前所有安装的模块:

    用户2398817
  • ROS2编程基础课程--安装

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    zhangrelay
  • C#笔记:RC4算法实现

    超级大猪
  • python requests 如何达到关闭强制urlencode的效果

    requests库是python中常用的网络库,有着比原生urllib更丰富的功能和更易用的接口,但是并不一定有相当的灵活性。这不现在就有一个问题。

    一次次尝试
  • pytthon—day8 读写模式的结合

    用户2398817
  • axios : Promise based HTTP client for the browser and node.jsaxios

    Promise based HTTP client for the browser and node.js

    一个会写诗的程序员

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动