专栏首页AI科技评论让老电影“重生”的AI超分辨技术,即将形成一波热点

让老电影“重生”的AI超分辨技术,即将形成一波热点

作者 | skura

编辑 | 唐里

最近有件大事,11 月 15 日,全球瞩目的经典电影《海上钢琴师》4K 修复版即将登陆全国院线。岁月侵蚀的影片经典场景,在老胶片的保存下只剩模糊的影像。而此次经 4K 技术修复的版本,据说采用了先进的图像超分辨率技术,分辨率和效果大幅度提升,磨损的视频图像恢复到当时拍电影时的真实效果,细节展现得淋漓尽致,光影清晰、细腻、赏心悦目。

这个图像超分辨率技术黑科技到底是怎么回事,加持人工智能的视频超分又是如何实现的呢?

什么是图像超分辨率技术?

超分辨率 (Super-Resolution) 是一种通过硬件或软件的方法提高原有图像的分辨率的技术,其中,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽 (获取同一场景的多帧图像序列) 换取空间分辨率, 实现时间分辨率向空间分辨率的转换。

用通俗的话来讲,超分辨率就是将图像从下图中左边的样子变成右边的样子。即提供更多的像素点,让图像的细节更加丰满。如果从信号的角度看,那就是在原信号中补充出更多的高频成分。

除了可以对传统影视节目的视频图像进行修复重建外,这项技术在医疗图像分析、生物特征识别、视频监控与安全等实际场景中也有着广泛的应用。例如,警察可以通过超分辨率技术识别监控视频中的罪犯,医生可以通过超分辨率技术得到更清晰的病灶图像等等。

上图是利用超分辨率技术处理视频前后。处理前,视频比较模糊、灰暗,视频中的伪影较多;处理后,视频在清晰度、明亮度上都有较大提升。

超分辨率技术的研究现状

图像的超分辨率复原技术主要分为两大类,一是基于重建的方法,二是基于学习的方法。近年来,随着深度学习的兴起,图像超分辨率技术出现了新的研究方向。基于深度学习的 SR(Super-Resolution),主要是基于单张低分辨率的重建方法,即 SISR(Single image Super-Resolution)。

SISR 是一个逆问题,对于一个低分辨率图像,采用不同的方法得到的高分辨率图像会略有不同。也就是说,可能存在许多不同的高分辨率图像与之对应。因此,通常需要在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中,这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的 SR 通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。

目前,基于深度学习的 SR 方法有很多,从 2014 年的 SRCNN 开始,到 VDSR 和 NTIRE2018 的冠军 WDSR,基于深度学习的超分辨技术不断创新网络架构、损失函数、学习策略,在特征提取、非线性映射和重建的架构上取得不断突破。

为了获得高质量的高分辨率图像,满足人们在实际生产生活中的各种需求,超分辨率图像复原的研究发展方向主要集中在以下三个方面:

  1. 完善现有算法,不断发展新的算法。这样做目的在于提高超分辨率图像复原的能力,减小计算量,加快运算的收敛速度,适用不同的图像要求;
  2. 发展和寻求新的退化成像模型,使成像模型更加精确和全面,实现对点扩散函数和噪声的精确估计;
  3. 在利用序列和多幅图像的复原中,发展和寻求新的运动模型,能够对运动进行精确估计。

看到这里,相信大家已经对这个 AI 新技术有一定的了解了。想要继续深入学习这一技术同时获取实战经验,证明一下自己吗?今年有两个人工智能赛事和图像超分辨率技术相关,一个是优酷超分比赛,9 月份已结束了;近期刚刚启动的是首届「全国人工智能大赛」,其中 AI+4K HDR 赛项就是和超分辨率技术相关的,可以说是同学们挑战自己、证明自己不可多得的好机会!采用现有的一些 AI 算法模型,参照之前的比赛,很快就能上手。

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:skura

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 论文 | Twitter在超分辨率技术上取得新进展,能还原打码图片

    AI科技评论按:受到万众瞩目的ICLR已经于今天在法国土伦召开。该大会由Yann LeCun 、 Yoshua Bengio 等几位行业顶级专家于2013年发起...

    AI科技评论
  • 深度 | 如此逼真的高清图像居然是端到端网络生成的?GANs 自叹不如 | ICCV 2017

    AI 科技评论按:生成式对抗性网络 GANs 是近几年最热门的机器学习范式之一,它“图像生成效果好”和“训练困难、效果不稳定”的特点吸引了许许多多研究者付出精力...

    AI科技评论
  • 今日 Paper | COVID-19感染者筛查;生成式摘要;图像融合数据集;端到端脸部分析等

    异常呼吸模式分类器可能有助于以准确和不显眼的方式对COVID-19感染者进行大规模筛查基于单句和双句打分的生成式摘要

    AI科技评论
  • 机器人也会画漫画

    说到人工智能,大家第一想到的应该会是人脸识别,因为这也是最近出现最频繁的名词,手机、交通、安防等领域都涉及到了人脸识别技术,但是大家应该把眼光放远一些,就会看到...

    计算机视觉研究院
  • 从一个故事开始谈项目与团队管理

    二战期间,英国国防部发现参战的飞机难免挨上高射机枪的枪子儿,受限于飞机重量和成本,他们只能在一处安装装甲增强防御力。但是在位置选择上犯了难:应该把装甲装在什么位...

    张果
  • 震撼!英伟达用深度学习做图像修复,毫无ps痕迹

    新智元
  • 实习期完成,无图像对和域标签,博士小哥实现完全无监督的图像转换

    我们都知道,最近出现的各种图像到图像转换模型都至少使用图像级(即输入 - 输出对)或集合级(即域标签)监督中的一种。但实际上,即使是集合级的监督也可能成为数据收...

    机器之心
  • SAP最佳业务实践:FI–应收帐款(157)-9 F-28手动过帐客户收款

    4.10 F-28手动过帐客户收款** 该活动过帐客户的收款。 未清项目已过帐(如果没有发现未清项目,请先用FB70 过账一张发票)。 角色:应收会计 会计核...

    SAP最佳业务实践
  • 页面彈出各种窗口詳解

    一、 基本变化 <SCRIPT LANGUAGE="javascript"> <!-- window.open ('page.html', 'neww...

    阿新
  • Robust Real-Time Face Detection

    版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。

    于小勇

扫码关注云+社区

领取腾讯云代金券