【震撼】这些专业级摄影作品竟然出自谷歌神经网络之手!

【新智元导读】谷歌研究人员提出利用机器学习学习“主观”概念的新方法,模仿专业摄影师的工作流程,遍览谷歌街景地图并搜索最佳作品,然后进行各种后续的处理,创造出媲美专业摄影师的作品。

机器学习(ML)在许多有明确目标的领域表现优异。存在正确答案或错误答案的任务有助于训练过程,并有助于算法实现预期的目标,例如正确地识别图像中的对象,为一种语言到另一种语言提供恰当的翻译。但是,有一些领域是很难有客观评价的。例如,一张摄影作品是否美丽是通过它的审美价值来衡量的,这是一个非常主观的概念。

加拿大贾斯珀国家公园的(专业?)摄影

为了探索ML如何学习主观概念,我们为艺术创作提出一个实验性的深度学习系统 Creatism。它模仿专业摄影师的工作流程,遍览谷歌街景地图并搜索最佳作品,然后进行各种后续的处理,创造出具有美感的图像。我们的虚拟摄影师在阿尔卑斯山、班夫国家公园、贾斯珀国家公园、加利福尼亚州的大苏尔,以及黄石国家公园等地“旅行”,获取了约40000张全景照片,处理成非常令人印象深刻,甚至接近专业水平的作品——这是由专业摄影师评价的。

训练模型

虽然“美感”可以使用AVA之类的数据集进行建模,但单纯使用它来增强照片可能在美学的某些方面处理不好,例如使照片过度饱和。使用监督学习方法可以适当地学习美学的多个方面,但可能需要一个有标注数据集,这是很难收集的。

我们的方法仅需要一个专业水平照片的数据集,不需要在前/后进行图像配对,也不需要任何其他标签。该系统可以自动将“美感”分解为多个方面,每个方面都通过耦合的图像操作产生的负面例子单独学习。通过使这些图像操作保持“半正交”(semi-orthogonal),我们可以通过快速且可分离的优化来增强照片成分、饱和度/HDR水平,以及亮度。

图:一张全景照片(a)被裁剪成(b),饱和度和HDR增强的(c),以及应用了戏剧性的蒙版(dramatic mask)的(d)。每一步都由已学习的一个美学方面指导。

传统的图像滤波器用于产生饱和度,HDR细节和构图的负面训练样本。我们还提出一个名为“戏剧性蒙版”(dramatic mask)的特别操作,这是在学习“戏剧性光线”(dramatic lighting)的概念的同时创造的。负面训练样本是通过应用一系列图像滤波器的组合,在专业级摄影作品上随机修改亮度,降低图像的质量产生的。在训练中,我们使用生成对抗网络(GAN),其中生成模型创造一个mask来为负面样本修改光线,而鉴别器模型试图区分被增强的结果和真正的专业级照片。与固定形状的滤波器(例如晕影)不同,dramatic mask 为照片进行内容感知(content-aware)的亮度调整。GAN训练的竞争性质导致这些方案能导致好的变化。有关训练的更多细节请阅读我们的论文:Creatism: A deep-learning photographer capable of creating professional work(https://arxiv.org/abs/1707.03491)。

结果

我们的系统利用谷歌街景创作的一些作品如下。正如你所看到的,训练好的美学滤波器(aesthetic filter)的应用创造了一些令人印象深刻的结果(包括本文开头的那张照片!):

贾斯珀国家公园,加拿大

因特拉肯,瑞士

Park Parco delle Orobie Bergamasche,意大利

贾斯珀国家公园,加拿大

专业评价

为了判断我们的算法是否成功,我们设计了一个类似“图灵测试”的实验:我们将 Creatism 的创作与其他各种质量的照片混在一起,并展示给几位专业摄影师。他们被要求为每个作品评分,评价标准如下:

  1. 傻瓜型,不考虑构图,光线等。
  2. 没有专业摄影背景的普通人拍摄的好照片。没有什么艺术性。
  3. 半专业级,有艺术价值的好照片。摄影师正走在成为专业级摄影师的路上。
  4. 专业级。

下图中,每条曲线代表专业摄影师给图像给有某个预测得分范围的图像的评价。对于我们的有较高预测得分的作品,有40%的几率它们被评价为“半专业级”或“专业级”。

有不同预测得分的照片从专业摄影师得到的评价

后续研究

谷歌街景为我们的项目提供了一个测试台。未来,这种技术甚至能够帮助我们在现实世界拍摄出更好的照片。我们做了一个showcase网页来展示一些令人满意的照片。如果你喜欢某张照片,可以点击图片显示附近的谷歌街景全景图。假如你当时正在那个地方举起照相机,会拍出一样的照片吗?

更多 Creatism 的作品:

论文下载:https://arxiv.org/abs/1707.03491

Showcase:https://google.github.io/creatism/

原文:https://research.googleblog.com/2017/07/using-deep-learning-to-create.html

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-07-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

我用AI修长城

科技正在以一种近乎革命性的手段解决生活中真实存在的难题。人工智能的出现,重新定义了文物保护的方法,克服了传统方式中的困难和挑战,以更快、更高效的方式解决凭借人力...

11830
来自专栏华章科技

黑科技神应用:人工智能已经开始修长城!

通过英特尔人工智能技术、深度学习技术、无人机技术等,如何实现对于箭扣长城的保护与修缮?答案就在视频里。

10420
来自专栏AI科技大本营的专栏

AI算法起家的今日头条为何败给了色情?一文告诉你机器学习何以搞不定鉴黄

12月29日,国家互联网信息办公室在官网发布消息称,针对今日头条、凤凰新闻手机客户端持续传播色情低俗信息、违规提供互联网新闻信息服务等问题,要求北京市互联网信息...

43980
来自专栏量子位

最近有啥ML比赛能表现自己的优秀?CVPR2018图像压缩大赛

原作 Michele Covell Root 编译自 谷歌博客 量子位 出品 | 公众号 QbitAI 新的一年来了,想给自己找个难度大的挑战?有哪些问题是有重...

31670
来自专栏人工智能头条

中国大数据专家委员会顾问、中国科学院院士张钹:大数据与人工智能研究的思考

15940
来自专栏数据科学与人工智能

【陆勤践行】数据科学家要会多少机器学习

这个全民搞数据的年代越来越多新毕业的博士问我说,怎么样才能成为一个挣钱比较多的数据科学家?这个问题很广泛,因为要会的太多了而技术都在不断进步并且我也不能保证挣钱...

26580
来自专栏新智元

【重磅】Nature子刊 | 增强学习强化,混合脑生化鼠“走迷宫”能力大幅提升

【新智元导读】浙江大学吴朝晖课题组的研究人员日前在 Scientific Reports 发表论文,描述了一种结合了小鼠和增强学习算法计算机的混合脑机系统,结果...

36980
来自专栏PPV课数据科学社区

黑箱难题仍在阻碍深度学习的普及

? “机器学习基本就是线性数学,很好解释,”数据公司Teradata首席技术官斯蒂芬·布罗布斯特(Stephen Brobst)在Teradata合作伙伴大...

39840
来自专栏AI科技大本营的专栏

AI+无人机:论长城修缮新方式

科技正在以一种近乎革命性的手段解决生活中真实存在的难题。人工智能的出现,重新定义了文物保护的方法,克服了传统方式中的困难和挑战,以更快、更高效的方式解决凭借人力...

10720
来自专栏专知

【中国计算机大会2017】丘成桐,沈向洋,李飞飞精彩演讲内容荟萃

丘成桐演讲全文:工程上取得很大发展,但理论基础仍非常薄弱,人工智能需要一个可被证明的理论作为基础 今天很荣幸地收到你们的邀请来做一个演讲。我本人在数学上的贡献不...

37870

扫码关注云+社区

领取腾讯云代金券