机器也有品味:谷歌最新算法让街景图具有专业摄影师审美

大数据文摘作品,转载要求见文末

编译 | 钱天培、Aileen、Yawei Xia

后台回复“机器品味”,可获得论文原文链接

想拍出专业级的照片,又没有单反、没学过专业的摄影教程?Google最新研发的照片处理黑科技将成为你的救星!这项基于深度学习的技术能够将Google Street View的全景照片处理成以假乱真的专业照片,40%被处理过的高分照片在“图林测试”中获得了专业人士的认可。一起来看看!

机器学习在有着明确目标定义的领域有非常强大的应用。在那些黑白分明的任务中,机器学习大有用武之地,比如正确地识别出图片内容,或是提供一段靠谱的翻译。然而,在许多缺少客观衡量标准的领域,机器学习的应用仍然十分有限。比如说,一张照片是否符合审美,这就是一个相当主观的评判了。

图为一张拍摄加拿大Jasper国家公园的专业(?)照片

为了探究机器学习带有主观性质任务的能力,我们设计了一个实验性深度学习系统来进行艺术创作。这一系统模拟了专业摄像师的工作流程,以Google Street View的全景图为素材,对它们进行裁剪、处理,创作出符合审美标准的照片,我们的虚拟照相师“前往”了阿尔卑斯山,黄石公园等地,拍摄了4万多张全景照片,许多最后处理过的作品甚至达到了专业水准。

模型训练

尽管我们可以用AVA之类的数据库来训练“审美”模型,但不假思索地用这样的模型来提高照片质量往往是东施效颦,比如说会把照片p得过度饱和。另一方面,用监督学习来学习审美的多方面特质则需要一个标记好的数据库——这样的数据库实在是太难收集了。

我们的方法所需的只是一个专业级的照片集,不需要处理前后对比图,也不需要额外的标签。我们的模型可以自动把“审美”这一概念分解成多个方面的指标,每一个指标都是通过与“反面例子”的对比得到的,而这些反面例子则是通过某一项图片处理生成的。通过让这些图片处理技术处于“半正交”状态,我们可以分步在构图,饱和度/HDR,和灯光效果等方面提升图片的质量。

一张全景图(a)被裁剪成了(b),在(c)中进行了饱和度和HRD强度处理,而在(d)中进行了灯光效果处理。每一步都是由“审美”的某一维度指导的。

我们用传统的滤镜制作出在饱和度、HDR和构图上有缺陷的“反面教材”。我们也用到了一个灯光处理的操作。这些”反面教材“是通过对专业照片进行滤镜的随机组合得到的。在训练中,我们使用了GAN,用一个生成模型来处理”反面教材“,用一个区分模型来辨别处理过的照片和它们的原图。

结果展示

Google street view的一些创新点如下。正如你看到的,受机器学习训练过的美图滤镜会有很奇幻的效果(本里的一些插图已经可见一斑)。

Jasper National Park, Canada.

Interlaken, Switzerland

Park Parco delle Orobie Bergamasche, Italy

为了判断我们的算法是多么的成功,我们设计了一个“图灵测试”的实验:我们将我们的创作与其他不同质量的照片混合在一起,并将它们展示给几位专业摄影师。他们被要求给每张照片的质量分类,定义如下:

1:随便拍拍,没考虑构图和光线等技术。

2:在没有摄影背景的普通大众里算是还不错的照片。没有什么脱颖而出的艺术感。

3:半专业摄影。很好的照片,显示出清晰的艺术感。摄影师在成为专业人士的正确轨道上。

4:专业摄影。

在下图中,每条曲线都显示专业摄影师给某一预测分数范围内的图像打出的评分。对于具有高预测分数的创作,它们收到的大约40%的评分是“半专业”到“专业”级别。

专业人士为不同预测分数的照片给出的评分分布

未来发展方向

Google的Street View全景照片是我们这个项目的测试源。在不久的将来这项技术或许就将帮助你在实际生活中拍出专业级的照片了。我们在这里收集了更多用这项技术处理过的照片(https://google.github.io/creatism/)。你可以点开这些照片,并和Google Street View的原图进行对比。如果是你的话,你会这样处理这些照片吗?

关于转载 如需转载,请在开篇显著位置注明作者和出处(转自:大数据文摘 | bigdatadigest),并在文章结尾放置大数据文摘醒目二维码。无原创标识文章请按照转载要求编辑,可直接转载,转载后请将转载链接发送给我们;有原创标识文章,请发送【文章名称-待授权公众号名称及ID】给我们申请白名单授权。未经许可的转载以及改编者,我们将依法追究其法律责任。联系邮箱:zz@bigdatadigest.cn。

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2017-07-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

干货 | 2018 机器阅读理解技术竞赛冠军 Naturali 分享问答系统新思路

AI 科技评论按:7 月 28 日,由中国中文信息学会和中国计算机学会联合举办的第三届语言与智能高峰论坛于北京语言大学举办,Naturali 奇点机智团队作为 ...

1043
来自专栏深度学习自然语言处理

如何具体学习计算机视觉

这两年,计算机视觉似乎火了起来,计算机视觉的黄金时代真的到来了吗?生物医学、机械自动化、土木建筑等好多专业的学生都开始研究其在各自领域的应用,一个视觉交流群里三...

1903
来自专栏AI科技评论

【深度】Nature:我们能打开人工智能的“黑箱”吗?

编者按:人工智能无处不在。但是在科学家信任人工智能之前,他们首先应该了解这些人工智能机器是如何运作的,这也就是文中所提到的“黑箱”问题。在控制论中,通常把所不知...

3196
来自专栏机器之心

资源 | CNN入门材料:《解析卷积神经网络——深度学习实践手册》

46510
来自专栏专知

【干货】追本溯源:5种受生物启发的人工智能方法

【导读】1月15日,机器学习研究人员Luke James(简介见文末)发布一篇博文,介绍了5种受到生物启发的人工智能方法,包括人工神经网络(人脑神经元)、遗传算...

3777
来自专栏DT数据侠

数据带你领略,超市货架的摆放艺术

当你在逛超市的时候,你有没有想过商场里的商品的摆放方式有什么讲究?随着新零售时代的到来,超市如今已经开始逐渐转向精细化运营时代。面对成千上万商品,通过数据收集和...

1050
来自专栏新智元

【CVPR智慧城市挑战赛】无监督交通异常检测,冠军团队技术分享

【新智元导读】“智能交通视频分析界的ImageNet竞赛”——英伟达城市挑战赛落下帷幕。新加坡松下研究院联合中科院自动化所,提出了一种双模态动静联合检测方案,在...

1670
来自专栏量子位

NIPS风波 | 获奖者登台开炮:ML是炼金术,大神LeCun强硬回怼

夏乙 问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI 谁能想到,NIPS这种顶会都能风波乍起。 Ali Rahimi(阿里·拉希米),因为2007年...

3037
来自专栏量子位

能把晦涩难懂的研究工作讲清楚,Distill就奖你10000美刀

Root 编译整理 量子位 出品 | 公众号 QbitAI 在机器学习研究圈里,大家可能都有这样的赶脚: 大部分从事机器学习研究的人,不太擅长写作,无法清晰地呈...

3256
来自专栏量子位

纽约大学的好奇AI特别会提问,桌游玩得比人还666

李林 编译自 TechnologyReview 量子位 出品 | 公众号 QbitAI 纽约大学的科学家们开发了一个非常“好奇”的人工智能系统,桌游玩得相当不错...

3134

扫码关注云+社区

领取腾讯云代金券