【重磅】谷歌发布图像超分辨率 RAISR：时间提高 100 倍，可实时在移动端运行

【新智元导读】谷歌博客今天便忙不迭地更新，介绍他们最新的图像高清生成技术 RAISR。据悉，RAISR 生成图像的质量比当前超分辨率技术更好、时间最高快 100 倍，能够实时在移动设备上运行，还能消除低分辨率图像中的混叠伪影（aliasing artifacts）。

每天，网络被用于分享、存储无数照片，让人们能够探索世界，研究新的话题，甚至能与朋友、家人分享旅程。然而，这些照片中有许多分辨率很低，它们或受拍摄设备分辨率的限制，或被故意降低分辨率以适应手机、平板以及网速的限制。随着家庭以及移动高清播放设备的普及，将低分辨率的照片变高清，并且能够在各种设备中快速查看、分享的需求前所未有的高。

谷歌最新高清图像生成法 RAISR

在“RAISR：快速精确的图像超分辨率”中，我们引入了一种结合机器学习的技术，目的是生成低分辨率图像的高清版本。RAISR 生成图像的质量能与当前可用的超分辨率技术相当，甚至更好，而且时间上快 10 至 100 倍，使得它能够实时地在移动设备上运行。此外，我们的技术能够避免把可能存在于低分辨率图像中的混叠伪影（aliasing artifacts）也重现出来。

上采样是从低分辨率图像生成像素更多，质量更高的大尺寸图像时常用的方法。上采样的公认方法是使用图像中现有像素值的简单、固定的组合在附近填充新像素值的线性方法。这些方法很快，因为它们是固定的线性过滤器（均匀应用于图像的固定卷积核）。但是这些上采样方法在快速的同时也使得它们生成的高清图像缺乏生动的细节。例如在下面的例子中，可以看到上采样生成的图像看起来很模糊——很难称之为“增强”。

左：低分辨率原图。右：简单（双三次）上采样图像（放大倍率 2x）

RAISR 滤波器训练方法与侧重点

为 3x 超分辨率学习的 11×11 滤波器的集。滤波器能够为一系列超分辨率因子学习，包括分数因子。要注意的是，当边缘的角度改变时，过滤器的角度也会旋转。类似地，随着强度加大，过滤器的锐度也会加大，并且滤波器的向异性随着相关性的提高而增大。

用 RAISR，我们使用机器学习训练一对图像（其中一张是低质量，一张高质量），当被选择性地应用于低分辨率图像的每个像素时，将重新创建质量与原图片相当的细节。 RAISR 可以通过两种方式进行训练。第一种是“直接”方法，滤波器直接从一对低分辨率和高分辨率的图像中学习。另一种方法则首先将计算上消耗少的上采样器（upsampler）应用于低分辨率图像（如上图所示），然后滤波器从一对上采样和相应的高分辨率图像中学习。虽然直接方法在计算上速度更快，但第二种方法可以使用非整数的缩放因子，从而更好地发挥基于硬件上采样的优势。

无论使用哪种方法，我们都是根据在小块图像中发现的边缘特征来训练 RAISR 滤波器——亮度/颜色梯度，平坦/纹理化区域等——着重于“方向”（direction，边缘的角度）、“强度”（strength，更大的强度）和“相干性”（coherence，边缘倾斜的程度）。下面是从包含了 1 万对高分辨率和低分辨率图像对（使用第二种方法，先对低分辨率图像进行上采样）的数据集中，学习得到的一组 RAISR 滤波器。全部训练过程大约需要一个小时。

上：运行时的 RAISR 算法，应用于升频输出。下：低分辨率原图（左），双三次上采样 2x 图像，RAISR 输出（右）

从左到右，从上图中可以看到，经过学习的滤波器选择性地与正在重建的下边缘的方向一致。例如，最下面一行中间的滤波器，最适合于具有高度相干性（直的而非弯曲的边缘）的强水平边缘（梯度为90°的角）。如果同样一条水平边缘对比度较低，那么系统会自动选择位于最上面一行的某个滤波器。

实际上，在运行中 RAISR 会自动选择，并将经过学习的滤波器列表中，最适合的那个滤波器应用于低分辨率图像中的每个像素邻域。当这些滤波器被用于质量较低的图像时，它们会重建出质量与原始高分辨率图像相当的细节，同时对线性、双三次或 Lanczos 插值法有大幅提升。

RAISR 的一些实例如下：

上：原图。下：RAISR 超分辨率输出（2x）

左：原图。右：RAISR 超分辨率输出（3x）

实现超高分辨率中，较为复杂的一个方面是去除混叠伪影，例如以较低分辨率渲染高频内容时出现的莫尔图案（Moire patterns）和锯齿状图案（jaggies）。不同的底层特征形状，会使这些伪影产生的情况各有不同，而且很难消除。

左下角可看到混叠伪像

线性方法无法恢复基础结构，但 RAISR 可以。

下面是一则实例，其中左侧低分辨率原始图像中，数字 3 和 5 下空间频率混叠十分明显，而右侧 RAISR 将最初的结构恢复了过来。RAISR 所使用的滤波器学习方法的另一个重要优点是，我们可以经过训练，指定它去除某种压缩算法（例如 JPEG）特有的噪声或压缩伪像。通过提供伪像样例，RAISR 在提高分辨率之外，还能学会消除其他的效果，将其“融入”（baked）最终得到的滤波器内。

左：低分辨率原图，有很明显的混叠伪像。右：RAISR 输出，消除了混叠

论文 RAISR: Rapid and Accurate Image Super Resolution

在一帧或多帧图像中使用超分辨率技术已经取得了长足的发展。今天，机器学习与成像技术数十年的进步相结合，使得图像处理在很多方面都得到了提升。例如，除了改善手机上数字的“缩放”功能外，还可以在较低分辨率下捕获、保存或传输图像，并在确保质量不发生明显下降（肉眼不可见）的情况下，根据需求对图像进行低分辨率或超分辨率处理，并且在实现这些的同时，使用的移动数据和存储量都有所减少。

要详细了解该研究细节及其与其他架构的比较，请查看论文，不久后即将在期刊 IEEE Transactions on Computational Imaging 上发表。