专栏首页机器之心黑白照片修复亦可「如假包换」,华人学者提出实例感知着色新方法

黑白照片修复亦可「如假包换」,华人学者提出实例感知着色新方法

选自arXiv

作者:Jheng-Wei Su等

机器之心编译

参与:Racoon、蛋酱、小舟

为黑白照片上色不难,但难在如何实现「以假乱真」。在这篇 CVPR 2020 论文中,研究者提出了一种全新的图像着色方法,通过检测出灰度图像中的不同目标,再对图像进行着色,使预测出的彩色图片更加接近真实色彩。

给黑白图像自动上色一直是个很有趣的话题,这方面的技术可广泛应用于旧照片和旧视频的修复,使百年旧照重新焕发生机。我们也会经常看到一些黑白照片修复成品,即使是上个世纪早期的旧照片,经过着色以后效果也十分惊艳。

玛丽莲·梦露经典造型。

1936 年,伦敦滑铁卢车站,人们第一次看到电视机。

但图像着色本质上是一个不适定问题(ill-posed problem),因为它具备多模态不确定性。也就是说,灰度图像的颜色是单通道的,但着色时却有多种选择。

以往的方法虽然也能在某些图像中达到相当不错的生成效果,但还没有一种方法能够很好地解决包含多个物体的图像着色问题,主要原因是现有的模型都是在整个图像上学习然后着色,在图形和背景无法清晰分离的情况下,这些模型无法很好地学习到有用的对象语义。

最近,来自国立清华大学和弗吉尼亚理工学院的研究者提出了一种新的实例感知着色方法。这一方法通过检测灰度图像中的不同目标,从而对图像进行着色,使预测出的彩色图片更加接近真实色彩。

  • 论文地址:https://arxiv.org/abs/2005.10825
  • GitHub 地址:https://github.com/ericsujw/InstColorization
  • Colab 地址:https://colab.research.google.com/github/ericsujw/InstColorization/blob/master/InstColorization.ipynb

现有方法的缺陷在于无法预测多对象实例图像中的合理颜色,上面一组图的滑雪者和下面一组图中的车辆都属于此类。由于图形和背景的分离不够清晰,着色结果也会出现一些「混乱」,比如使用 Deoldify 方法对第二组橙子图像进行着色,生成结果就会整体偏绿色。

现有方法和本文新方法的对比。

研究者利用现有的目标检测器获取裁剪后的图像,并使用实例着色网络提取对象级特征。随后,也是使用类似的网络去提取全图特征,并使用融合模块去填充对象级特征和图像级特征,来预测最终的颜色。研究者使用了几个大规模数据集,让着色网络和融合模块从中学习相应规则,实验结果表明,这一方法在多项 baseline 方法的对比评估中均实现 SOTA。

概述

论文所提方法以灰度图像

作为输入,以端到端的方式预测其丢失的在 CIE L∗a∗b∗色彩空间中的两个色彩通道

下图 3 展示了所提网络的整体框架。

首先,研究者使用现成经过预训练的目标检测器,从灰度图像中获得多个目标的边界框

。使用检测到的边界框从原灰度图中裁剪出不同物体,将裁剪后的图像调整大小后产生一系列实例图像

。接着,将每个实例图像 X_i 与灰度图像 X 分别输入到实例着色网络(instance colorization network)与全图着色网络(full-image colorization network)中。两个网络使用相同的结构,但网络权值各不相同。

最后,研究者使用一个融合模块来将每一层中的所有实例特征

与全图特征 f^X_j 相融合。融合后的全图特征之后被输入下一层网络中。重复以上过程直到最后一层,并获得预测的彩色图像 Y。研究者首先训练了全图网络,之后训练实例网络,最后冻结以上两个网络来训练特征融合模块。

图 3:方法概述。

该研究的方法利用检测到的对象实例来改进图像着色。为此,研究者采用一个现成经过预训练的 Mask R-CNN 作为目标检测器。

图像着色骨干网络

如上图 3 所示,该研究的网络包含两个着色网络分支,一个是为实例图像着色,另一个是为全图像着色。在选择这两个网络的结构时,要求两个网络有相同的层数,以利于特征融合。研究者采用了 Zhang 等人提出的着色网络作为骨干网络。

融合模块

研究者在此讨论了如何用多个实例特征来融合全图像特征,以达到更好的着色效果。图 4 展示了该融合模块架构。由于融合发生在着色网络的多个隐含层中,简单起见,研究者只给出了在第 j 层的融合模块。将该模块用于其他层遵循类似流程。

图 4. 特征融合模块

损失函数

研究采用如下δ = 1 的平滑 l_1 损失函数:

实验

研究者给出了多个实验结果来验证所提出的实例感知着色方法。研究者在三个大规模数据集上对所提方法进行了定量评估,并结果与 SOTA 着色方法做了比较。之后还给出了对一些有挑战性图像的着色样例。

定量比较

在 ImageNet ctest10k、COCO-Stuff、Places205 这三个数据集上的定量比较结果如表 1 所示:

表 1. 在全图像层面上的定量比较。

表 2 总结了在 COCO-Stuff 数据集上所有实例的平均性能对比。

表 2. 在实例层面上的定量比较

上色视觉效果比较结果

下图展示了论文中提出的方法与其他基线方法在上色效果上的比较结果。研究者观察到,他们提出的方法在视觉质量上有着稳定的提升,尤其是对于那些包含多个实例的场景。

图 5:本文提出的方法与 SOTA 方法效果的比较。

图 6 显示了融合实例级别与完整图像级别特征的,在多个阶段上所学到的蒙版。实验表明,本文提出的实例感知流程可以改善复杂场景的视觉质量。

图 6:融合网络可视化。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-05-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 学界 | Adobe提出深度抠图:利用卷积网络分离图像前景与背景

    选自arXiv 机器之心编译 参与:蒋思源 抠图,一直是一件体力活,它需要大量的操作与时间。而传统抠图算法主要是以色彩为特征分离前景与背景,并在小数据集上完成,...

    机器之心
  • 获亿元A轮融资,AI新秀触「网」电力,掘金能源智能化

    今年 10 月,总部位于安徽合肥的中科类脑公司宣布获得亿元 A 轮融资,由合肥产投领投,金科君创、创东方、华富嘉业、量子基金、国元股权等机构联合参投。

    机器之心
  • 反之亦然,科学家开始用深度神经网络解释人类大脑

    2011年冬天,麻省理工学院计算神经科学博士后研究员丹尼尔-亚明斯(Daniel Yamins)常常会为了研究他的计算机视觉项目熬到深夜。那时候的他正在苦心设计...

    机器之心
  • 开源搜索引擎solr elasticsearch学习计划

           其实不单单是研究solr elasticsearch把,进行调研性技术学习时,应该制定一些目标以及里程碑。新的技术调研 学习是一件很爽的事,能学到...

    杉枫
  • 迁移成分分析 (TCA) 方法简介

    之前整理总结迁移学习资料的时候有网友评论,大意就是现在的类似资料大全的东西已经太多了,想更深入地了解特定的细节。从这篇文章开始我将以《小王爱迁移》为名写一系列的...

    AI研习社
  • 详解Java API之正则表达式

         正则表达式描述的是一种规则,符合这种限定规则的字符串我们认为它某种满足条件的,是我们所需的。在正则表达式中,主要有两种字符,一种描述的是普通的字符,另...

    Single
  • 微软AI参考图片颜色为视频着色,生成结果逼真

    视频着色可能是一种艺术形式,但人工智能模型也在慢慢掌握它。微软亚洲研究院,微软AI感知和混合现实部门,哈马德滨哈利法大学和南加州大学创新技术研究所的科学家们共同...

    AiTechYun
  • 构建冷链管理物联网解决方案

    冷链物流的复杂性、成本和风险使其成为物联网的理想使用案例。以下是我们如何构建一个完整的物联网解决方案,以应对这些挑战。

    用户4122690
  • 面试官:从 URL 输入到页面展现到底发生了什么?

    当然故事其实并不是从输入一个URL或抓着鼠标点击一个链接开始的,事情的开端要追溯到服务器启动监听服务的时候,在某个未知的时刻,一台机房里普普通通的服务器,加上电...

    南风
  • 存储09-glusterfs&ceph&minio

    glusterfs、ceph、minio在开源界,属于比较流行应用较广的三个分布式存储系统。现在重点介绍下,这三个分布式系统的架构以及和raid的类比,让大家把...

    大话IT架构

扫码关注云+社区

领取腾讯云代金券