谷歌超分辨率技术 RAISR :模糊图片瞬变高清,速度提升数十倍

编者按:每天都有数以百万计的图片在互联网上被分享、存储,用户借此探索世界,研究感兴趣的话题,或者与朋友家人分享假期照片。问题是,大量的图片要么被照相设备的像素所限制,要么在手机、平板或网络限制下被人为压缩,降低了画质。

如今高清显示屏正在家庭和移动设备上普及,因此,把低分辨率图片转化为高清版本,并可在多种设备上查看和分享,正在成为一项巨大的需求。日前,谷歌推出了一项新技术 RAISR,其全称是“Rapid and Accurate Image Super-Resolution”,意为“快速、精确的超分辨率技术”。

RAISR 这项技术能利用机器学习,把低分辨率图片转为高分辨率图片。它的效果能达到甚至超过现在的超分辨率解决方案,同时速度提升大约十至一百倍,且能够在普通的移动设备上运行。而且,谷歌的技术可以避免产生混叠效应 (aliasing artifacts)。

此前已经具有通过升采样方式,把低分辨率图片重建为尺寸更大、像素更多、更高画质图片的技术。最广为人知的升采样方式是线性方法,即通过把已知的像素值进行简单、固定的组合,以添加新的像素值。因为使用固定的线性过滤器(一个恒定卷积核对整个图片的无差别处理),该方法速度很快。但是它对于重建高清作品里生动的细节有些力不从心。

正如下面这张图片,升采样的图片看起来很模糊,很难称得上画质提升。

左:原始图片,右:升采样处理后图片

对于 RAISR,谷歌别辟蹊径得采用机器学习,用一对低分辨率、高分辨率图片训练该程序,以找出能选择性应用于低分辨图片中每个像素的过滤器,这样能生成媲美原始图片的细节。目前有两种训练RAISR的方法:

  • 第一种是“直接”方式,过滤器在成对高、低分辨率图片中直接学习。
  • 第二种方法需要先对低分辨率图片应用低功耗的的升采样,然后在升采样图片和高分辨率图片的组合中学习过滤器。
  • “直接”方式处理起来更快,但第二种方法照顾到了非整数范围的因素,并且更好地利用硬件性能。

无论是哪种方式,RAISR 的过滤器都是根据图像的边缘特征训练的:亮度和色彩梯度,平实和纹理区域等等。这又受到方向(direction,边缘角度),强度(strength,更锐利的边缘强度更高)和黏性 (coherence,一项量化边缘方向性的指标)的影响。以下是一组 RAISR 过滤器,从一万对高、低分辨率图片中学习得到 (低分辨率图片经过升采样)。该训练过程耗费约一小时。

注:3 倍超分辨率学习,获得的 11x11 过滤器集合。过滤器可以从多种超分辨率因素中学习获得,包括部分超分辨率。注意当图中边缘角度变化时,过滤器角度也跟着旋转。相似的,当强度提高时,过滤器的锐利度也跟着提高;黏性提高时,过滤器的非均相性(anisotropy)也提高。

从左至右,学习得到的过滤器与处理后的边缘方向有选择性的呼应。举例来说,最底一行中间的过滤器最适合强水平边缘(90 度梯度角),并具有高粘性(直线的而非弯曲的边缘)。如果这个水平边缘是低对比度的,那么如同图中最上一行,另一个过滤器就被选择。

实际使用中,RAISR 会在已经学习到的过滤器列表中选择最合适的过滤器, 应用于低分辨率图片的每一个像素周围。当这些过滤器被应用于更低画质的图像时,它们会重建出相当于原始分辨率的细节,这大幅优于线性、双三(bicubic)、兰索斯 (Lancos)解析方式。

上:RAISR 算法运行示例 下:原始图像 (左),2 倍双三解析 (中),RAISR 效果 (右)

一些运用RAISR进行图片增强的示例:

上:原始图片 下:RAISR 2 倍超分辨率效果

左:原始图片 右:RAISR 3 倍超分辨率效果

超分辨率技术更复杂的地方在于如何避免混叠效应,例如龟纹 (Moire patterns)和高频率内容在低分辨率下渲染产生的锯齿 (对图像人为降级的情形)。这些混叠效应的产物会因对应部分的形状不同而变化,并且很难消除。

左:正常图像 右:右下角有龟纹(混叠效应)的图像

线性方法很难恢复图像结构,但是 RAISR 可以。下面是一个例子,左边是低分辨率的原始图片,左 3 和 左 5 有很明显的空间频率混淆(aliased spatial frequencies),而右侧的 RAISR 图像恢复了其原始结构。 RAISR 的过滤器学习方法还有一项重要的优点:用户可以把消除噪音以及各类压缩算法的产物作为训练的一部分。当 RAISR 被提供相应的范例后, 它可以在图片锐化之外学会消除这些效果,并把这些功能加入过滤器。

左:有强混叠效应的原始图片 右:RAISR 处理后效果

超分辨率技术利用不同的方法已经有了不少喜人的进展。如今,通过把机器学习与多年来不断发展的成像技术相结合,图像处理技术有了长足的进步,并带来许多好处。举例来说,除了放大手机上的图片,用户还可以在低分辨率和超高清下捕捉、存储、传输图像,使用更少的移动网络数据和存储空间,而且不会产生肉眼能观察到的画质降低。

小结:自从乔帮主 2010 年在 iphone 4s 上推出“视网膜屏”概念之后,数码产品市场开启了一场超高清显示革命。如今,家用显示器逐步走向 4K,各大手机厂商也竞相推出 2K 旗舰机。但 2K、4K 内容的缺乏一直是困扰行业发展的痛点。此前的超分辨率技术受成本、硬件限制,主要应用于专业领域,未能大范围普及。

此次谷歌 RAISR 大幅降低了图像增强的时间成本和硬件要求,有望实现超分辨率技术在消费领域的应用,把充斥互联网的低画质图片转化为高清图片,大幅提高视觉效果和用户体验。雷锋网十分期待将来 RAISR 在移动设备的应用,例如把消费者手机拍摄的照片转化为媲美单反画质的高清美图。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2016-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量化投资与机器学习

【全网首发】机器学习该如何应用到量化投资系列(三)

有一些单纯搞计算机、数学或者物理的人会问,究竟怎么样应用 ML 在量化投资。他们能做些什么自己擅长的工作。虽然在很多平台或者自媒体有谈及有关的问题,但是不够全面...

3129
来自专栏机器之心

演讲 | Yann LeCun清华演讲:深度学习与人工智能的未来

机器之心原创 作者:高静宜 2017 年 3 月 22 日下午,Facebook 人工智能研究院院长、纽约大学终身教授 Yann LeCun 在清华大学大礼堂为...

3498
来自专栏AI科技大本营的专栏

模拟狗狗的“魔鬼步伐”,比更真还更真

虽然只比人类多了两条腿,但是四足动物的“魔鬼步伐”却足以让人凌乱。要知道,在动画领域,想要创作一个四足动物的角色,绝对是劳心劳力的一件苦差事。

851
来自专栏数据科学与人工智能

【知识】统计学和数据挖掘的区别

小编邀请您,先思考: 1 统计学是什么?为什么用统计学? 2 数据挖掘是什么?为什么用数据挖掘? ? 1. 简介 统计学和数据挖掘有着共同的目标:发现数据中的结...

3707
来自专栏机器之心

学界 | 对比对齐模型:神经机器翻译中的注意力到底在注意什么

3045
来自专栏AI科技评论

干货 | 香港科技大学施行健:深度学习如何用于短临降雨预报

AI科技评论按:本文介绍了 NIPS 2017 论文: Deep Learning for Precipitation Nowcasting: A Benchm...

3667
来自专栏CDA数据分析师

基础知识:统计学和数据挖掘的区别

1. 简介 统计学和数据挖掘有着共同的目标:发现数据中的结构。事实上,由于它们的目标相似,一些人(尤其是统计学家)认为数据挖掘是统计学的分支。这是一个不切合实际...

1785
来自专栏CSDN技术头条

详解苏宁门店的人脸识别技术

一个成熟的人脸识别系统通常由人脸检测、人脸最优照片选取、人脸对齐、特征提取、特征比对几个模块组成。

1192
来自专栏AI科技评论

周志华KDD China技术峰会现场演讲:深度学习并不是在“模拟人脑”

编者按:12月18日,KDD China技术峰会在深圳举行,AI科技评论根据周志华教授当天会上所做报告《关于机器学习研究的讨论》,摘取其中亮点内容整理成本文,由...

3157
来自专栏机器之心

AAAI 2018 | 双流束网络:北理工提出深度立体匹配新方法

2526

扫描关注云+社区