【虫二】的人工智能

艺术创作一直是人类精神活动的最高级形式,自古以来,人们认为只有人类的智慧才能真正领悟艺术作品的深远意境和奥妙神韵,玄而又玄的艺术风格更是只可意会,不可言传。近些年来,机器视觉和人工智能的发展正在将艺术拉下神坛,几乎人类智能的一切领域都正在被人工智能所解构和颠覆。可以毫不夸张的说,人工智能似乎很快就能够达到“虫二”(风月无边)的境界。

在视觉艺术领域,抽象的艺术风格已经可以被严密数学化,并且可以被提取,变换和转移。一幅艺术作品,其内容(content)和风格(style)紧密缠绕在一起,似乎是密不可分的,但是两者又是相对独立的。如何将内容和风格相剥离,如何各自表示,如何将不同艺术作品的内容和风格有机结合,这些都是玄妙而又基本的问题。我们考察一些近期刚刚发展起来的巧妙算法,看看它们是如何建模并解决这些问题的。

最优传输方法【1】

我们考察下面两张图。图像 1 是山脚下牧场的田园风光,苍松翠柏,绿草茵茵,艳阳高照,生机盎然;图像 2 是古老庄园中的林荫道,午后斜阳,遍地碎金,藤萝蔽日,虬枝遮天。第一幅图像似乎摄于春夏,洋溢着勃勃生机;第二幅图像似乎是深秋日暮,没落抑郁。如果将第一幅图像的内容和第二幅图像的风格相结合,我们得到第三幅图像,深秋山脚下的牧场,残阳如血,山林如炬,凄艳欲绝,离恨顿生。

Figure1 输入图像

Figure 2 示例图像

Figure 3 图像1的内容 + 图像2的风格

人类的感知都是基于概率的。这种方法将摄影风格抽象为色彩的概率分布。每个像素的颜色表示成颜色空间的一个点 (红,绿,蓝)。每幅图像颜色的直方图(Histogram) 给出了颜色分布的概率分布函数(PDF)。

Figure 4. 颜色分布概率密度函数。第三幅图像是第一幅的内容加上第二幅的风格。【6】

陈省身曾经说过蒙日-安培方程是最为非线性的偏微分方程。最近,丘成桐团队给出基于变分法的构造性解法【5】。

将视觉图像的艺术风格理解为色彩空间的概率分布,想法虽然简单,但是很多时候卓有成效。

频谱能量密度【2】

下图是将一幅随意的摄影相片转换成不同风格的肖像作品的示例。首先输入相片和样本相片之间建立映射,然后将相片进行类似小波变换,转换成所谓的

拉普拉斯堆栈(Laplace Stack),在频率域,计算每个频段的能量密度函数。将输入图片的每个频段的能量密度函数加以调整,使得其和样本图片的能量密度函数大致吻合。最后施行逆变换,得到输出图像。

Figure 5. 不同风格的人物肖像自动生成。

这种方法可以改变图像的颜色,对比度,光照,散聚焦, 同时保留表情,姿态,形状,透视和焦距。这种方法将艺术风格理解为多尺度下,图像局部统计特性,特别是局部对比度的统计特性。第一种方法只是做了全局的统计,丢失了多尺度和局部统计信息。但是,这种方法需要输入图像和样本图像比较接近,因此局限性较大,不如最优传输法灵活。

深度学习法【3】

人类的视觉计算是一个非常复杂的过程,如图 6 所示,在大脑皮层上有多个视觉功能区域(v1 至 v5等),低级区域的输出成为高级区域的输入。低级区域识别图像中像素级别的局部的特征,例如边缘折角结构,高级区域将低级特征组合成全局特征,形成复杂的模式,模式的抽象程度逐渐提高,直至语义级别。如图 7 所示,我们可以毫不费力地辨认出左帧是奥巴马的肖像,右帧是两只兔子的白描。其实,图中大量信息丢失,但是提供了足够的整体模式。由此可见,视觉高级中枢忽略色彩,纹理,光照等局部细节,侧重整体模式匹配和上下文关系,并可以主动补充大量缺失信息。

Figure 6. 大脑皮层的视觉中枢,视觉信号的传导途径:视网膜,LGN, V1, V2, V3, V4, V5 等。

Figure 7. 高级视觉中枢忽略细节,识别主要模式,主动补充缺失信息。

如果我们有两张图片,分别用卷积神经网络来分解得到内容和风格,然后,我们可以将其风格的表示互换,重构图像,这样就实现了“内容保持,风格变换”的图像。这里,我们展示一些计算结果:

如上几个例子不容置疑地展现了人工智能的方法可以分离艺术内容和艺术风格,并且能够恰切地表示内容和风格,自如地转换,合成艺术风格。虽然计算机的能力令人惊艳,但是今天最终艺术作品的审美和评判依然不可替代地由人类来完成。那么,是否会在不远的将来,人类的审美能力也会被量化,由数学公式精确地推演,最终由人工智能来越俎代庖呢?人工智能真地能够达到“虫二”的境界吗?我们人类是应该对此期待还是恐惧?

【1】Nicolas Bonneel, Michiel van de Panne, Sylvain Paris, Wolfgang Heidrich, Displacement Interpolation Using Lagrangian Mass Transport, ACM TOG, 30(6), SIGGRAPH ASIA, 2011

【2】YiChang Shih, Sylvain Paris, Connelly Barnes , William T. Freeman, Fredo Durand, Style Transfer for Headshot Portraits, ACM TOG, 33(4), SIGGRAPH, 2014

【3】Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, A Neural Algorithm of Artistic Style, arXiv:1508.06576v1

【4】https://github.com/jcjohnson/neural-style

【5】Xianfeng Gu, Feng Luo, Jian Sun and Shing-Tung Yau, Variational Principles for Minkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-Ampere Equations, Asian Journal of Mathematics (AJM), 2015

【6】Gabriel Peyre, An Introduction to Optimal Transport, www.numerical-tours.com

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2015-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI2ML人工智能to机器学习

概率估值的光滑(Smoothing)

一般通过频率(Frequency / Counting)来估值的过程中,存在需要光滑(Smoothing)的问题, 这个问题在自然语言处理或者贝叶斯算法中尤为突...

2482
来自专栏机器学习算法与Python学习

蒙特卡洛方法入门

蒙特卡洛方法入门 引言 蒙特卡罗方法于20世纪40年代美国在第二次世界大战中研制原子弹的“曼哈顿计划”计划的成员S.M.乌拉姆和J.冯·诺伊曼首先提出。数学家冯...

41211
来自专栏AI2ML人工智能to机器学习

随机眼里的临界

以前,来自清华的师兄给我讲过一句话, 叫随机过程随机过, 实变函数学十遍。 至今印象深刻。 我想说的是, 一遇概率脑子绝对不够用~~~

721
来自专栏人工智能LeadAI

《机器学习基石》课程学习总结(一)

《机器学习基石》课程非常棒,作为总结,本文重点是梳理课程中的知识脉络,同时尽可能说白话,让没有机器学习背景的朋友也能看懂。 这个课程好在哪里? 1、最大的好 课...

4395
来自专栏企鹅号快讯

数字电影技术术语普及

1 1K/2K/4K 在数字技术领域,通常采用二进制运算,而且用构成图像的像素数来描述数字图像的大小。由于构成数字图像的像素数量巨大,通常以K来表示210即10...

2335
来自专栏深度学习入门与实践

【深度学习Deep Learning】资料大全

  最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books Deep Learning66 by Yosh...

6189
来自专栏数说工作室

这是一份开光的课程 |《神经网络》中文字幕版(1.3 & 1.4)

《Neutral Network for Machine Learning》(机器学习中的神经网络)系列课程,是深度学习大神 Geoffrey Hinton 毕...

2847
来自专栏ATYUN订阅号

GitHub项目:自然语言处理领域的相关干货整理

自然语言处理(NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。本文作者为NLP初学者整理了一份庞大的自然语言处理领域的概...

9784
来自专栏大数据挖掘DT机器学习

【接上篇】从白富美相亲看特征预处理与选择(下)

作者:龙心尘 &&寒小阳 出处: http://blog.csdn.net/han_xiaoyang/article/details/50503115 ...

3294
来自专栏华章科技

再说深度学习是黑匣子,就把这篇文章糊 Ta 脸上

导语:可视化不只是画画那么简单,它或许是我们理解神经网络的世界的方法。PS:标题是作者说的,不是我说的,要打,就打他(逃

1163

扫码关注云+社区