【重磅】物理学家揭示深度学习原理:神经网络与宇宙本质惊人关联

【新智元导读】哈佛大学和 MIT 的物理研究者日前在 arXiv.org 发文,提出深度学习的成功不仅关乎数学,也离不开物理。他们在论文中指出,参数有限的神经网络之所以能够分析有无数种可能的复杂问题,是因为宇宙中所有事物都能由一组性质简单的函数表示。此外,宇宙具有层次结构,而神经网络中的层能够将每一步近似为因果序列。因此,现实世界问题非常适于神经网络建模。这一假说如果正确,不仅揭示了深度学习如此有用的原因,还能说明人类大脑为何擅长分析复杂问题,有助于加速人工智能发展。

过去几年,深度学习技术转变了人工智能世界。那些一度被视为只有人类才能够做到的事情,一项一项地被机器斩获。深度神经网络现在比人类更擅于识别人脸、识别物体,在古老的技艺围棋上更是把人打得落花流水。

但有一个问题。为什么层层堆叠起来的网络能够解决这么多的复杂问题,还没有人讲得出数学上的道理。尽管深度神经网络取得了巨大的成功,但是没有人知道它们是如何做到这一点的。

不过,哈佛大学的 Henry Lin 和 MIT 的 Max Tegmark 给出了转机。他们认为数学家之所以狼狈不堪,是因为事情的关键在于世界万物运作的道理——宇宙的本质。换句话说,答案在物理而非数学里。

首先,我们假设要将几兆的灰度图像分类,判断该图像是一只猫还是一只狗。

这样一幅图片含有几百万像素,每一个像素都有 256 个灰度值。因此,从理论上说,一共有 256^1000000 种可能的图像,每一种都需要计算是否组成了猫或狗。而神经网络只有几万或几百万的参数,却不知怎的能够很轻松地完成这项分类的任务。

用数学的语言讲,神经网络的工作方式是用较为简单的函数逼近复杂的函数。当要分类猫或狗的图像时,神经网络必须实现一个函数,这个函数将一百万的灰度像素作为输入,输出它可能代表的图案的概率分布。

问题是,数学函数的数量相比用于逼近它们的可能的网络的数量,多了好几个量级。但尽管如此,深度神经网络仍然能够得到正确答案。

现在 Lin 和 Tegmark 表示他们已经知道了原因。答案是宇宙由为数不多的一组函数所掌控。换句话说,如果用数学式子表示物理定律,那么所有事物都能由一组性质简单的函数所表示。

举例来说,多项式函数 f(x)=x²,二次方程 y=x² 指数为 2,而 y=x^24,指数为 24,以此类推。

很显然,指数的数量是有限的,物理定律中也只出现了有限的多项式。“目前还不清楚原因,但是我们的宇宙能被低阶的汉密尔顿多项式准确地描述。”Lin 和 Tegmark 说。通常而言,物理定律的多项式,指数都在 2 到 4 之间。

物理定律还有其他的重要性质。举例来说,与旋转和位移有关的物理定律通常是对称的。旋转一只猫或一只狗 360°,这只猫或狗看起来与原来是一样的;将一只猫或狗位移 10 米、100 米或 1000 米,这只猫或狗跟原来相比,看起来还是一样的。这一点也为识别猫狗带来了便利。

这些性质表明,神经网络不需要逼近几近无限的数学函数,而只需要逼近其中最简单的一组就可以了。

还有一种性质也为神经网络所用。那就是宇宙结构具有层次。“基本粒子形成原子,原子又形成分子、细胞、器官、行星、太阳系、银河系等等,”Lin 和 Tegmark 表示。此外,复杂结构也往往是由一系列简单的步骤生成。

这也是为什么说神经网络结构具有重要性:这些网络中的层能够将每一步近似为因果序列。

Lin 和 Tegmark 以宇宙微波背景辐射为例,近年来,有很多不同的空间飞行器都以很高的分辨率描绘了这种辐射,而物理学家也为这些图像为什么会具有这种形式而感到疑惑不解。

Lin 和 Tegmark 指出,不管原因为何,无疑宇宙微波背景辐射是一个因果层次的结果。“一套宇宙学参数(比如暗物质的密度)决定了我们宇宙密度波动的功率谱,而这又决定了我们接收到的早期宇宙微波背景辐射的模式,这些模式与来自银河系的前景无线电波干扰相结合,产生一个能被卫星望远镜记录下来的频率天图。”他们说。

每一个因果层都比上一层含有更多的信息。虽然宇宙参数是有限的,但是天图和干扰却含有几十亿的数字。物理学的目标是分析这些大数字,让它们揭示出较小一些的数字。

而当现象具有这种层次结构时,神经网络就能大幅提高分析效率。

“我们证明了深度廉价学习(deep and cheap learning)不仅依赖于数学,还取决于物理,物理学中一些常见的极为简单的概率分布非常适于神经网络建模。”Lin 和 Tegmark 得出这样的结论。

物理和深度学习的联系。来源:Tegmark YouTube 视频

这是一项十分重要而又十分有趣的研究。人工神经网络受生物神经网络启发而来,因此 Lin 和 Tegmark 的假说不仅解释了深度学习为什么如此有用,还说明了人类大脑理解宇宙的原因。演化不知怎地形成了一种分析宇宙奥妙理想的人脑结构。

这一结果为人工智能研究打开了一扇门。现在,我们终于明白了深度神经网络为何有用,而且数学家也能着手研究是什么数学性质让深度神经网络这么有用。“加深对深度学习分析理解能力的认知,能够进一步提升深度学习。”Lin 和 Tegmark 表示。

深度学习近年来取得了飞速发展。有了这一新的理解,该领域的发展速度势必变得更快。

进入新智元公众号,在对话框输入“0911”下载论文。

编译来源:

The Extraordinary Link Between Deep Neural Networks and the Nature of the Universe

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

加利福尼亚大学开发模型,可减少AI数据集的性别偏见

词嵌入是一种将单词和短语映射到实数向量上的语言建模技术,是自然语言处理的基础部分。这就是机器学习模型如何“学习”语境相似性和词语接近的重要性,以及它们如何最终从...

1452
来自专栏互联网大杂烩

评价模型数据挖掘之评价模型

是定性与定量相结合的多准则决策、评价方法。将决策的有关元素分解成目标层、准则层和方案层,并通过人们的判断对决策方案的优劣进行排序,在此基础上进行定性和定量分析。...

1812
来自专栏杨熹的专栏

纯粹的数学之美

当你爱上数学时,你可能愿意一辈子去研究它而不觉得厌烦,因为它的发展集成了无数人的贡献,自身是博大精深的,但输出却是简单的,简单到一个公式可以描述一个现象,一个方...

35610
来自专栏人工智能头条

一文读懂AlphaGo背后的强化学习

1523
来自专栏AI研习社

谷歌大脑让机器尝试画画,虽然结果很勉强但过程你却不能不知道

编者按:虽然简笔画与实物的逼真程度相去甚远,但即便是一个小孩也能轻易理解图案中的内容。原因其实很简单,因为人类懂得通过判断图案中的关键特征,与现实物体进行匹配。...

3648
来自专栏大数据文摘

Cell研究揭示生物神经元强大新特性,是时候设计更复杂的神经网络了!

1787
来自专栏数据科学与人工智能

【机器学习】机器学习背后的统计思想

要理解机器学习首先要明白他的定义,很多人给出了定义“学习是人类具有的一种重要智能行为,但究竟什么是学习,长期以来却众说纷纭。社会学家、逻辑学家和心理学家都各有其...

2518
来自专栏AI科技大本营的专栏

当这位70岁的Hinton老人还在努力推翻自己积累了30年的学术成果时,我才知道什么叫做生命力(附Capsule最全解析)

Hinton,这个以“深度学习之父”和“神经网络先驱”响彻AI领域的名字,他的一举一动,都是热点导向。 当我们远望一位顶级人物时,除了他的学术,也许,我们更...

3866
来自专栏企鹅号快讯

李飞飞、吴恩达、Bengio等人的15大顶级深度学习课程,你收集全了吗?

翻译 | AI科技大本营 参与 | 刘畅 编辑 | Donna 目前,深度学习和深度强化学习已经在实践中得到了广泛的运用。资源型博客sky2learn整理了15...

2039
来自专栏AI科技大本营的专栏

【干货】人工智能工程师的三个层次(附技术学习路线图)

作者 | 智亮 Google Tensorflow框架的Contributor。在计算机视觉领域有深厚的工业经验,带领团队开发的“花伴侣”植物识别App,上线数...

4635

扫码关注云+社区

领取腾讯云代金券