分组SVR和KNR的单帧图像超分辨

基于学习的图像超分辨通过建立映射模型有针对性地对图像目标进行恢复，取得较好的超分辨效果，但往往需要大量学习样本，实际情况中一般难以满足。本文介绍在无高分辨清晰图像库作为训练样本的前提下，从低分辨图像与其插值图像之间的关系出发，引入分组的思想，采用支持向量回归（SVR）或核非线性回归（KNR）对“组”建立局部映射模型，最后利用局部模型针对性地重新估计被插值的像素点。

1. 引言

基于学习的超分辨技术是通过学习低分辨图像与高分辨图像之间的关系，然后利用这种关系来指导对图像进行超分辨方法的研究。然而该类方法的性能非常依赖于训练样本库，如果样本选择不好，就难于实现较好的超分辨。而且在实际情况下，往往很难获得高分辨训练样本。

近年来，核回归作为一种非线性方法，已经应用在图像处理的多个方面。本文引入BM3D（块匹配三维滤波）算法中分组的思想，对待处理的单帧图像按块匹配形成“组”；使用的SVR建模的同时，并引入一种称为“核非线性回归（KNR，Kernel Nonlinear Regression）”的方法，对各“组”分别建立局部模型；最后利用局部模型具有针对性地重新预测其插值结果。

本文算法与其他学习算法的根本不同之处在于：首先，本文算法无需高分辨清晰图像库作为训练样本，利用低分辨图像自身的信息及其与相应插值图像之间的关系出发，对其提取训练样本进行学习；其次，在建立插值高分辨图像与测量低分辨图像的映射关系时，本文算法基于分组，建立多个（个数与组数相同）局部模型（而不是文献中的单一模型），更有利于突出图像局部特征。实验结果表明：本文算法有明显的超分辨效果。

2 支持向量回归

给定一个具有N个输入/输出对的训练集：

其中xi∈X、yi∈Y，X为训练样本的输入集，Y为训练样本的输出集。传统的线性回归估计线性函数Y=WTX+b是通过最小二乘估计的方式来实现的，其表达式为：

线性回归估计适用于样本能够线性分离的情况，但在实际应用中很多样本是不能够线性分离的。为了得到更好的结果，支持向量回归通过非线性映射f将数据X映射到一个高维特征空间F中，使得f(X)在特征空间F中具有很好的线性回归特征，先在该特征空间中进行线性回归，然后返回到原始空间中。支持向量回归可以通过如下的最优化问题来解决：

3 核回归

4 分组SVR和KNR单帧图像超分辨

基于学习的超分辨方法其不同点主要在于：输入/输出训练集的构造方式、模型参数的估计方法。传统的基于学习的超分辨方法采用大量的高分辨清晰图像来构造输入/输出训练集，然后利用此样本集合建立高分辨图像与相应低分辨图像的映射关系模型，从而估计出待处理低分辨图像的高分辨版本。然而，在实际情况下往往很难获得高分辨训练样本。针对此问题，本文算法通过找出待处理低分辨图像像素点经过双三次插值后在插值图像中的位置，利用两者之间的关系和插值前后样本点值不变的特性提取训练样本进行学习。在此过程中，引入BM3D图像去噪算法中分组的思想，对插值图像按块匹配分组，采用SVR和KNR回归算法对每一“组”局部建模，利用局部模型有针对性地重新预测其插值结果，这样做更有利于突出图像的局部特征。

4.1 构造训练集和测试集

假定低分辨率图像的每一个像素点都是真实的，且由双三次插值理论可知g(i,j) =f(s,t)（其中s=i×N–1，t=j×N–1），那么，对于插值图像中的每一个插值放大块（图1中图像f粗线框区域所示），其左上角像素点也都是真实的，即每一个插值放大块对应于一个真实的像素点。

将插值放大块作为输入集，相应的真实像素点作为输出集，可以通过建立彼此间的映射关系模型来预测插值放大块中其余的像素点，使被插值的像素点得以修正。同时为了更好地体现图像的局部特征，本文引入块匹配分组的思想，对插值图像进行块匹配分组，再对每一个“组”进行局部建模。

图1所示为本文算法训练集的构造过程，其中每一个小方格代表一个像素点。任取一个插值放大块，其左上角坐标为(s,t)，写成矩阵形式如下：

预测过程的输入集X是以插值放大块中除像素点(s,t)外的其余N×N–1个像素点为左上角，大小为N×N的块通过矢量化的方式形成的（图1中图像f虚线区域所示）。需要注意的是，矢量化方式与构造训练输入集的矢量化方式保持一致。利用该“组”的映射关系模型对输入集X进行计算，即可得所期待的输出集Y。

按此方式，遍历插值图像的每一个待修正的插值放大块。

4.2 算法步骤

基于学习的超分辨方法主要包含以下两个步骤：训练和预测。图2为算法流程图。训练部分主要是对已知的学习样本建立相应的回归模型，预测部分是利用训练部分获取的回归模型对未知样本进行估计。本文算法的详细步骤如下：

1)首先对低分辨率图像g进行双三次插值放大，得到插值图像f，其中放大因子为N；

2)对插值图像中的每一个待修正的插值放大块进行分组，按照4.1节所述的方式构造训练集和测试集；

3)将训练的输入集G和输出集F代入SVR和KNR回归算法进行计算，以获得该“组”的回归函数f:G→F；

4)利用回归函数f对预测的输入集X进行计算，得出输出集Y，即插值放大块中待插值像素点的修正值；

5)返回步骤2)，直至遍历插值图像的每一个待修正的插值放大块。

编者按

最近加班太凶

脸都冒痘痘了

工作要有

生活也要有

下一站......