前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >空间特征转换网络及其在超分辨中的应用

空间特征转换网络及其在超分辨中的应用

作者头像
Natalia_ljq
发布2020-06-03 11:46:59
1.2K0
发布2020-06-03 11:46:59
举报
文章被收录于专栏:基于深度学习的图像增强

本文主要用于介绍经典的空间转换网络,并将这种思想运用到了超分辨中的一篇论文。

Spatial Transformer Networks (CVPR2016)

本文提出了一个独立的神经网络模块,空间变换网络,可以直接加入到已有的CNN或FCN中对数据进行空间变换操作。它不需要关键点的标定,能够根据分类或者其他任务自适应地将数据进行对齐或空间变换(包括平移、缩放、旋转以及其他几何变换),从而减少由于物体变换对任务的影响,提升网络的学习能力。 整个空间变换器包含三个部分,本地网络(Localisation Network)、网格生成器(Grid Genator)和采样器(Sampler),如下:

本地网络通过一个子网络(全连接或卷积网络,再加上一个回归层)用来生成空间变换的参数θ,θ的形式可以多样,如需实现2D仿射变换,θ 就是一个6维(2x3)向量的输出。网格生成器用来得到U和V各位置的对应关系:

采样器也有多种形式,为了使得loss可以反向传播,这里用双线性插值核来进行采样,表达式及求导过程如下:

本文在手写文字识别、街景数字识别、鸟类分类以及共定位等方面做了实验, 这里只列出比较有代表性的手写文字实验部分。实验数据为MNIST,分别在经过不同处理(包括 旋转(R)、旋转、缩放、平移(RTS),透射变换(P)),弹性变形(E))的数据上进行字符识别的实验。Baseline分别使用了两种网络结构FCN , CNN, 加入了 STN 的网络为 ST-FCN, ST-CNN。其中,STN 采用了以下几种变换方法:仿射变换(Aff )、透射变换(Proj )、以及薄板样条变换(TPS )。左边表列出了 STN 与 baseline 在MNIST上的比较结果,表中数据为识别错误率。右边图中可以看出,对不同的形式的数据,加入了STN 的网络均优于 baseline 的结果。以下为 STN 对数字图像进行变换后的结果,其中a列为原始数据,b列为变换参数的示意图,c列为最终变换后的结果。

Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform (CVPR2018)

这篇论文主要论述了语义分割图作为分类先验在SR约束似然解空间中的作用。简单的说就是想用图像的类别信息做指导,来复原更真实、自然的纹理。这种先验也可以其他的,比如图像深度。这里作者使用语义分割map作为分类先验,以此为条件,通过一个空间特征转换层生成一对修正参数,将单个网络中一部分中间层的特征作仿射变换,从而更好地复原纹理信息。其网络结构如下:

部分实验对比图如下:

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-01-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Spatial Transformer Networks (CVPR2016)
  • Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform (CVPR2018)
相关产品与服务
文字识别
文字识别(Optical Character Recognition,OCR)基于腾讯优图实验室的深度学习技术,将图片上的文字内容,智能识别成为可编辑的文本。OCR 支持身份证、名片等卡证类和票据类的印刷体识别,也支持运单等手写体识别,支持提供定制化服务,可以有效地代替人工录入信息。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档