大家好,我是Happy。
NTIRE的各大竞赛已经落下帷幕,冠亚军排名也相继确定,笔者近期会逐步将相关领域的竞赛结果进行一下简单总结,同时也将对这其中的冠军军及优秀方案进行一番解读,感兴趣的朋友可以关注一波...
今天要介绍的NTIRE2021的图像去模糊竞赛。
模糊是一种常见的图像退化类型,比如拍摄过程中的抖动问题、虚焦问题等等。但是,实际场景中,模糊往往与低分辨率、压缩伪影、噪声等共存。因此,该竞赛在附加额外退化(比如压缩伪影、低分辨率)下的条件下进行图像去模糊,也就是:
延续NTIRE2019与NTIRE2020竞赛,我们采用REDS数据度量不同方案的性能。在度量指标方面,主要评价指标为PSNR;此外,我们还提供了SSIM与LPIPS指标。
该竞赛每个赛道分别由338和238注册队伍,但只有18和17个队伍完成最终的测试提交。下表给出了该竞赛两个赛道各个队伍的成绩与排名,注:推理速度是由组织者在统一平台(Intel Xeon Gold 6248 CPU, NVIDIA Quadro RTX 8000 GPU, Samsung 860 EVO 4TB SSD)测试所得。
在这些方案中有一些新颖的思路,也有一些共性的策略。
竞赛冠军由PSNR得分决定,两个赛道的冠军方案分别如下:
下面两图提供了不同赛道牌面靠前方案的效果对比。
该团队在EDVR的基础上引入了两个模块:
目前该文已经上传arxiv,code已经上传github,但并未上传预训练模型。更详细信息可查看笔者的解读。
该团队提出了PDAN用于联合去模糊与超分,其结构与ED-DSRN类似。受启发于RCAN,它采用RSCA(Residual Spatial Channel Attention)进行特征提取;去模糊模块采用残差编解码结构以扩大感受野。受启发与困难样例挖掘策略提出了HPEM损失,此外还采用了L1损失。
该团队提出了一个级联去模糊和超分模块的方案,在超分模块采用了非局部残差网络以获得更好的重建图像。该方案采用两阶段方式进行训练,先训练去模糊模块,然后整体训练,损失函数为L1损失和梯度损失。
该团队提出了MRNet(Multi-Refinement Network)用于图像去模糊,它包含四个模块:
卷积进行融合;
华为诺亚团队提出了IPT,它首次将Transformer用于low-level问题,在多个任务上达到了SOTA性能。关于IPT更详细的介绍可参考笔者之前的解读:
Transformer再下一城!low-level多个任务榜首被占领,北大华为等联合提出预训练模型IPT
该团队在MWCNN与RCAN的基础上提出了Big UNet架构,它采用RCAN中的残差组替换MWCNN中的卷积层。为进一步提升感受野,还添加了源自DAVANet中的MDB。
该团队提出了MS-HDRN(Multi-scale Hierarchical Dense Residual Network),它采用了多级稠密连接与多级残差连接。为实现多级稠密连接,采用
卷积进行降维。此外,还引入了拉普拉斯注意力机制与MDCB模块。
该团队提出一种两阶段特征合成网络,每个阶段均采用了类UNet架构以尽可能提升感受野。此外,该团队还提出一种Half-Instance Normalization技术用于利用规范化与未规范化特征。对该文感兴趣的朋友可以查看笔者解读:
HINet | 性能炸裂,旷视科技提出适用于low-level问题的Half Instance Normalization
GiantPandaCV采用了编解码架构,区别于UNet,采用了扩张卷积扩大感受野。采用了SSIM损失与Charbonnier损失进行模型训练。