SISR深度学习主要方法简述

基于插值的上采样方法

最近邻插值

使用距离最近的像素点的值进行插值操作

双线性插值

沿着图像的一个方向进行插值，然后再沿着另一个方向进行插值。插值的结果与先进行哪个方向的插值无关

双立方插值

使用的插值函数为三次多项式，也是进行图像两个方向的插值操作

基于学习的上采样方法

转置卷积

也成为反卷积，卷积核大小为3x3，步长为1，并使用0进行填充的卷积操作

亚像素卷积

通过卷积操作得到多个通道的特征图，然后对特征图进行重新排列，在多个通道之间重组，从而放大图像的尺寸

SRCNN

2014,ECCV

线性网络

L2

双三次插值

预上采样

实景图像

首次提出将深度学习引入超分辨领域，提高重建质量

SCN

2015,ICCV

线性网络

L2

双三次插值

预上采样

实景图像

在深度卷积网络中加入稀疏表示先验信息

FSRCNN

2016,CVPR

线性网络

L2

转置卷积

后上采样

实景图像

较SRCNN提升算法处理速度

ESPCN

2016,CVPR

线性网络

L2

亚像素卷积

预上采样

实景图像

较SRCNN提升算法效率

VDSR

2016,CVPR

残差网络

MSE

双三次插值

后上采样

实景图像

运用残差学习加深网络层数，同时可处理多尺度SR问题

LapSRN

2017,CVPR

残差网络

Char损失函数

亚像素卷积

逐步上采样

实景图像

通过逐步上采样、逐级残差和自身损失函数监督，提升算法速度以及重建效果

EDSR

2017,CVPRW

残差网络

L1

亚像素卷积

后上采样

实景图像

去除BN加快运行速度，加深网络深度

MSRN

2018,ECCV

残差网络

L1

亚像素卷积

后上采样

实景图像

运用多尺度残差网络提升算法效率

DRCN

2016,CVPR

残差、递归网络

L2

双三次插值

预上采样

实景图像

运用递归网络增大网络感受野，从而提升网络性能

DRRN

2017,CVPR

残差、递归网络

L2

双三次插值

预上采样

实景图像

运用局部多尺度和全局残差学习，减少参数并提升重建性能

SRFBN

2019,CVPR

残差、递归、稠密网络

L1

转置卷积

后上采样

实景图像

引入反馈机制的循环神经网络，从而提升重建效果

SRDenseNet

2017,ICCV

密集网络

L2

亚像素卷积

后上采样

实景图像

运用密集连接加强特征传播，减少参数数量，减轻梯度消失

RDN

2018,CVPR

密集、残差网络

L1

亚像素卷积

后上采样

实景图像

将残差、密集学习结合，客观指标和主观效果有所提升

SelNet

2017,CVPRW

残差网络、注意力机制

L2

双三次插值

后上采样

实景图像

使用选择单元允许特定值向下传递，提升重建效果

RCAN

2018,ECCV

残差网络、注意力机制

L1

亚像素卷积

后上采样

实景图像

将通道注意力机制引入网络，捕捉更重要的通道信息，从而提升重建效果

SAN

2019,CVPR

残差网络、注意力机制

L1

亚像素卷积

后上采样

实景图像

使用二阶通道注意力机制，更好的长距离空间内容信息

TTSR

2020,CVPR

残差网络、注意力机制

L1、对抗、感知损失

亚像素卷积

后上采样

实景图像

使用硬注意力机制进行纹理迁移，使用软注意力机制进行纹理合成

SRGAN

2017,CVPR

生成对抗网络

对抗、感知损失

亚像素卷积

后上采样

实景图像

最早使用GAN网络进行图像超分辨，在主观视觉效果上提升明显

ESRGAN

2018,ECCVW

生成对抗网络

L1、对抗、感知损失

亚像素卷积

后上采样

实景图像

相较于SRGAN，生成器去掉BN、判别器对损失函数做出改进，提升重建效果

SPSR

2020,CVPR

生成对抗网络

L1、对抗、感知、梯度损失

亚像素卷积

后上采样

实景图像

基于GAN网络的方法，考虑保持图像内部的几何结构