照片有灵异鬼影?伯克利 x 陈启峰培育高能FCN“除灵师” | CVPR论文

家栗子 发自 航天桥 量子位 出品 | 公众号 QbitAI

古人云,捕风捉影。

捕风或许不那么容易,毕竟,能停下来的,就不是风了。

捉影的话,可以把神经网络放出来,它们的视觉可以很灵敏。

不过,神经网络要追的,是反光表面映照出来的倒影。

加州大学伯克利分校的研究人员,不喜欢在水族馆拍鱼的时候,照到一个灵异的自己。

于是,他们就要利用神经网络强大的感知能力,来除灵了。还中选了CVPR

反光层透射层,分离开来,何者为实何者为虚,一目了然。

这,也是目前计算机视觉领域里面,一个非常美好的问题。

不过,这个除灵过程,没有灰飞烟灭的环节,实景和虚影都会好好地活着,且互不干扰。

现实主义表达方式

中为CEILNet,右为伯克利

阴郁的街景,和阴郁的大叔,被神经网络的如炬目光,明明白白地洞察了。

并且,两者都保留了它们最纯粹的样子,没有交叠。

不过,漫长的旅途中,视角并非从一开始就那么清晰。

追影这个浪漫的问题,用数学符号来表示,是这样——

I∈ℝm×n×3,就是输入的含着倒影的图像。

不是正确示范

图像(I),可以被建模成,透射层(T)与反光层 (R) 之和,即I = T + R。

目标是,把T层修复好,让原本想要的景色,不要受到R层的打扰。

这不是一个稳定、有唯一解 (well-posed question) 的问题,需要给一些额外的条件,才能更好地解决。

用几张图

以往的研究中,要去掉一幅图里的倒影,大多要输入好多幅图,或者需要得到人类清晰的指点。

可是,用几幅图来处理一幅图,很多时候是不现实的;需要人类的话,听起来也并不是那么厉害。

用一张图

最近,也有研究人员,实现了只需要单张图就能完成的除影术。

CEILNet,拿深度神经网络训练模型,用色彩和边缘的低层损失来训练的。但这种方法,不能直接让模型直接学习高层语义,这对捉影师来说,还是很遗憾的。

光有低层信息是不够的,特别是涉及到颜色模糊 (color ambiguity) ,或者是模型需要识别物体的时候。

本文的技术,就会识别灯啊,人脸啊这些物体的表征,并开心地除掉了它们的虚像。

疗效明显不同。

模型结构长这样

一个优秀的模型需要理解图像里的内容。

为了语义理解,团队用了hypercolumn特征——从一个用ImageNet数据集训练好的VGG-19网络上提取特征。

这样做的优点是,有用的特征,可以对输入的数据进行扩增。

另外,这个神经网络的感受野 (Receptive Field ) 很大,有513×513个像素,可以有效地聚集起五湖四海的图像信息。

神经网络的第一层,是个1×1的卷积,给特征降维用的,从(1472+3) 维降到64维。

后面跟着8层,都是3×3的扩张卷积 (Dilated Convolutions) ,扩张率从1到128不等。

所有的中间层,都有64个特征通道。

最后一层,用了一个线性变换,在RGB空间里,生成两幅图像。

损失函数很丰盛

特征损失

测量的是特征空间中,预测的透射层 (T) 和参考标准 (Ground Truth) 之间的距离。

低层高层信息结合起来,语义推理有助于分割图层。

把透射层(T) 跟参考标准都喂给VGG-19神经网络。

对抗损失

团队发现透射层的图像会受到色彩失真和残差的影响,才在损失函数里加上了这一项。

本环节的主角是CGAN,其中的判别模型,会识别真实透射图和生成透射层之间的差别。

通过训练,判别器会学到一个最适宜的损失函数,为下一步的分层优化打好基础,也让生成器的预测结果,更加接近真实。

Exclusion Loss

团队探索了一下透射层 (T) 和反光层 (R) 之间的差异——

研究人员发现,透射层和反光层的边缘,通常都不会重叠。

也就是说,一个边缘可能是T的,可能是R的,但不大会是它们共同所有的。

于是,团队把梯度域 (Gradient Domain) 里面,T层和R层的相关性降到最低,写出一个Exlusion Loss的函数。

其中,λT和λR这两个归一化因子 (Normalization Factors) 很重要,因为T层和R层之间,梯度幅值可能会不平衡——

R层如果比较模糊,梯度就小一些。

R层如果反射了强光,图上就会有一个非常亮的点,梯度则会很大。

数据集也虚实结合

训练数据,里面有5000幅合成图像,是用Flickr上随机找的10000张图两两合并,一为T层,一为R层。

假设两层处在不同的焦平面 (Focal Plane) 上,模糊度就有明显的差异。

还有,团队从90幅真实图像中提取了500个小块 (Patch) ,分辨率在256p-480p之间。

然后,要用无微不至的眼光观察图像——

·在室内还是户外 ·光照条件,是日光还是白炽灯还是其他 ·拍摄角度,是前视还是斜位照 ·相机光圈,f/2.0— f/16

为了扩增数据,研究人员还随机调整了小块的尺寸,不过横纵比保持不变。

数据集建好之后,神经网络就要开始修行了。

训练过程中,数据跑了250次 (Epoch) ,批尺寸为1。

看看成绩

骄人的数据

来到测试阶段,团队先用PSNR和SSIM两套图像质量评价方法,来对比了一下自家神经网络,和前人算法生成的图像。

可喜可贺,伯克利的AI在两项比赛里,都获得了最高分。

另外,研究人员还在MTurk上搜集了人类观众的评价。

在两两对抗赛中,他们的图像先后战胜了只需输入一幅图的CEILNet,还有需要输入多幅图的Li and Brown。

这不是险胜,是80%以上的压倒性优势。

碾压了对手之后,就要感受一下损失函数里面,三项损失的表现如何——

又是经过SSIM和PRNS的鉴定,证实三者缺一不可,合体才能爆发最强的能量。

数据之外

比起数据,各位还是亲自审阅一下生成的图片,来得更实在。

先和CEILNet比一下,看T层,伯克利的小黄鸭坐的垫子上面,并没有灵异的影子了,因为影子比较完好地搬去了R层。

相比而言,对手的R层黑漆漆,该属于R层的部分,还以半透明的样子存在于T层。

后来,Li and Brown也加入了比赛,不过还是受到了伯克利AI的碾压。

虽然,那两位对手包包上印花,还是挺美的。

需要注意的是,伯克利的方法适用于各种环境下拍摄的图像,没有太多的限制条件,便于推广,这也是这只AI与其他选手之间,一个重要的不同。

One More Thing

最后,介绍下三位作者的履历,其中陈启峰博士,可能量子位的读者早已很熟悉。

张璇儿

一作:张璇儿(Cecilia Zhang),出生北京,人大附中高材生,本科学于莱斯大学,其后入学UC伯克利,师从吴义仁 (Ren NG) 教授,主攻计算机视觉方向,目前是博士三年级学生。

张璇儿先后在Adobe、Facebook实习,现在则在英特尔实习——与陈启峰一起工作。

吴义仁

二作:Ren Ng(吴义仁),加州大学伯克利分校的助理教授,璇儿就是在他的实验室里做研究。

Ren Ng出生在马来西亚,8岁移民澳大利亚。2006年斯坦福大学博士毕业,还获得了当年ACM的博士论文奖。

Ren Ng教授的主要研究方向是数字光场摄影技术,还创办了光场相机公司Lytro,把这项技术引入消费级电子产品。

陈启峰

三作:陈启峰,经历颇为传奇,1989年生于广东。

2006年,17岁的陈奇峰发表论文,提出数据结构Size Balanced Tree(SBT)。2008年,以中学生身份获得中山“十大杰出青年”称号。

2011年,陈启峰在ACM国际大学生程序设计竞赛获得金牌(全球第二,北美冠军)。同年还获得香港大学生编程比赛冠军。

2017年,陈启峰从斯坦福博士毕业。如今已是英特尔实验室研究员。

今年,陈启峰还成为了无人车明星创业公司Pony.ai研究院的访问教授,与之前他在IOI旅程中的楼天城等竞争对手,有了一段新故事。

CVPR论文在这里了:

Single Image Reflection Separation with Perceptual Losses

http://cn.arxiv.org/pdf/1806.05376

预祝大家,端午节除灵愉快。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-06-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量化投资与机器学习

【Matlab量化投资】基于神经网络的利率债16国开10收益率预测模型

以往大家接触的量化投资与机器学习在股票和期货上运用的较多,然而大家却忽略了一个重要的金融市场,那就是债券市场。今天小编就告诉大家机器学习在债券市场上的运用。在机...

34090
来自专栏大数据

一位 TalkingData 员工学习人大统计学课程的笔记及感想

引言 新的一年,想必不少人都给自己树立了学习目标,要想学习上得去,先得学会做笔记。记笔记是我们在学习过程中消化总结的好方式,良好的记笔记习惯能起到事半功倍的效果...

21690
来自专栏华章科技

500款各领域机器学习数据集,总有一个是你要找的

美国劳工部统计局官方发布数据:http://dataju.cn/Dataju/web/datasetInstanceDetail/139

31710
来自专栏大数据挖掘DT机器学习

【趣味】数据挖掘(7)——团拜会与鸡尾酒会上的聚类

在硕博士生的数据挖掘课程中,聚类是难点,一文难尽。此文用宴会上的见闻,用异于传统的方式,从讲课PPT上取些素材(这样比较快),来说明聚类的一些概念,为下篇...

33440
来自专栏数据科学与人工智能

【知识】六种基本图表的特点和适用场合

1 为什么要用数据可视化? 2 如何做数据可视化? "数据可视化"可以帮助用户理解数据,一直是热门方向。 图表是”数据可视化”的常用手段,其中又以基本图表—-...

27080
来自专栏Albert陈凯

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1) 注:机器学习资料篇目一共500条,篇目二开始更新...

51680
来自专栏大数据文摘

机器学习是如何借鉴物理学思想的?从伊辛模型谈起(万字长文)

29240
来自专栏灯塔大数据

人人都会用到的数据可视化之常用图表类型

文章介绍 “数据可视化”可以帮助用户理解数据,一直是热门方向。 图表是”数据可视化”的常用手段,其中又以基本图表——柱状图、折线图、饼图等等最为常用。 ? 用...

30060
来自专栏量子位

杨强教授第四范式内部分享:漫谈《西部世界》、GAN及迁移学习

本文转载自第四范式公众号,量子位已获授权。 「范式大学」由第四范式发起,致力于成为“数据科学家”的黄埔军校,校长为第四范式首席科学家,华人界首个国际人工智能协会...

35950
来自专栏量子位

炸了!这届ICLR论文被指太“渣”?Goodfellow围追堵截要说法

安妮 夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 搞机器学习的这帮人在Twitter上又炸了。 起因是一名叫Anish Athalye的小哥率先...

37350

扫码关注云+社区

领取腾讯云代金券