Cell研究揭示生物神经元强大新特性,是时候设计更复杂的神经网络了!

大数据文摘作品

编译:Zoe Zuo、惊蛰、夏雅薇

深度学习(DL)或者人工神经网络(ANN)模拟了生物神经元?

这是个很大的误解。

ANN充其量模仿了一个1957年面世的低配版神经元。

任何宣称深度学习的灵感来源于生物的人都是出于种种营销目的,或者他压根就没读过生物学文献。

不过,仿生系统研究怕是要遇到阻碍了。

两篇最近发表于Cell上的神经元基因Arc的新发现,揭示了生物神经元更大的复杂性,其远比我们想象得复杂得多。

深度学习里的神经元实质上是数学函数,即相似度函数。在每个人工神经元内,带权重的输入信号和神经元的阈值进行比较,匹配度越高,激活函数值为1并执行某种动作的可能性就越大,不执行(对应函数值为0)的可能性越小。

虽然有个别例外情况(比如自回归神经网络Autoregressive networks),但多数深度学习算法都是这样工作的,比如感知器(perceptron)、卷积神经网络(Convolutional Neural Network,CNN)以及循环神经网络(Recurrent Neural Network, RNN)。

生物神经元和深度学习的概念大不相同。

生物神经元并不会保持连续信号,而是产生动作电位,或者依据事件做出相应行为。

因此,所谓“神经形态”(neuromorphic)的硬件,也就是受到“整合信息,然后发送信号”(integrate and spike)的神经元的启发。

如果你对构建一个仿生认知系统感兴趣,可以看看今年2月这篇普度大学的论文。你必须知道的是,这类系统并不像深度学习框架那样具有连续作用性。

从本质上来讲,生物系统利用最少的能量来维持生存,但深度学习系统需要消耗非常多的能量,对比十分鲜明。深度学习采用蛮力手段(不断尝试和犯错)来实现认知,我们知道它的运作原理,但是还不知道怎么减少深度学习的能耗。

一直以来,学术界一直以来希望用仿生手段创造出比深度学习更加强大的体系,虽然在这个方面努力了很久,但是进展尚不明显。已经取得的进展有HTM神经元,它更贴近新大脑皮层(neo-cortex)结构。从下图中可以看出,这种神经元模型要比深度学习中的神经元复杂得多。

左:深度学习ANN,中:生物神经元,右:HTM神经元

相比之下,深度学习方法虽然用的是和卡通一样简单的神经元模型,近一段时间以来却意外大显身手,在认知方面取得了让人难以置信的成效。深度学习所做的事情非常正确,只是我们还不了解它做的究竟是什么。

不过,仿生系统研究怕是要遇到阻碍了。以色列的一个关于神经元性质的新实验表明,生物中的神经元比我们想象得复杂得多:

公众号后台对话框回复“生物”获取论文

总结一下,生物神经元的这些特性我们才刚刚知道:

  • 单个神经元的峰电位波形通常随着刺激部位的不同而改变,两者的关系可以用函数表达;
  • 在细胞外,从不同方向施加的刺激并不能引起空间性加成(Spatial summation);
  • 当细胞内外刺激交叠时,不会产生空间性加成或者空间性相减(Spatial subtraction)。如果这些刺激的精确时值互不相关,那么非局部时间的干扰也不能奏效。

简而言之,一个神经元里所发生的事情远不止“计算-输出”这么简单。

生物神经元很可能不是随着单一参数(也就是权重)而改变的纯函数能够描述的。它们更像是能显示各种状态的机器。换句话说,权重或许不是单值,而是多重值的,甚至是更高维度的。这些神经元的性质仍有待探索,我们对此几乎一无所知。

如果你觉得这样的解释让理解神经元性质变得更难了,那还有两篇最近发表于Cell上的神经元基因Arc的新发现,揭示了更大的复杂性。

神经元释放的细胞外囊泡中,很多都含有一种叫做Arc的基因,可以帮助神经元之间相互建立连接。那些被基因改造后缺乏Arc基因的小鼠难以形成长期记忆,而人类的一些神经功能障碍也与这个基因有关。

这项研究表明,神经元之间的交流是通过发送成套RNA编码实现的。更准确地说,是成套的指令而非数据。发送编码和发送数据完全是两码事。这也就意味着,一个神经元的行为可以改变另一个神经元的行为;不是通过观察,而是通过彼此修正。

这种编码交换机制隐隐证实了一些早期的猜想:“生物大脑仅仅是由离散的逻辑构成的吗?”

实验结果揭示了一个新的事实。即使在我们认知的最小单位,也就是单个神经元之间,也存在着一种对话式的认知(conversational cognition)。这种认知不断修正神经元彼此的行为。

因此,神经元不仅是有不同状态的机器,也是预先设定了指令的、能相互发送编码的通路。

这些实验对我们有两点明确的启示。

第一,我们对人类大脑计算能力的估计可能偏差了至少一个数量级。

如果粗略地设定一个神经元只执行一次运算,那么整体上看人类大脑可以完成每秒38拍字节(Peta)的运算(1拍字节=10^15字节)。

如果假定深度学习模型里的运算都等价于浮点数的运算,那么大脑的性能可以匹敌一个每秒3.8亿亿次浮点运算的电脑系统。当前最顶尖的超级计算机——中国的神威·太湖之光(Sunway Taihulight)的峰值性能是每秒12.5亿亿次/秒。

然而,大脑的实际运算能力很有可能是我们认为的10倍之多,也就是38亿亿次/秒。不过显而易见的是,生物大脑实际上只用了较少的计算就实现了非常多的认知。

第二,未来在探究深度学习架构时,人们会很热心地采用内部结构更复杂的神经元或者节点。

现在到了重新开始,并探究更复杂的神经元的时候了。迄今为止,我们遇到的比较复杂的神经元类型来自于长短期记忆(Long Short Term Memory, LSTM)。以下展示的是针对LSTM神经元的蛮力架构搜索:

目前尚不清楚为什么这些更复杂的LSTM更为有效,只有架构搜索算法才明白其中缘由,不过算法可不会解释自己是怎么回事的。

最近发布的一篇来自CMU和蒙特利尔大学的论文探究了设计更为复杂的LSTMs。

公众号后台对话框回复“生物”获取论文

Nested LSTMs相对于标准的LSTMs实现了重大改进。

综上所述,致力于探究更加复杂的神经元类型的研究计划可能会带来丰硕的成果,甚至可以和把复数值应用于神经网络上带来的硕果相提并论。

在复数神经网络中,只有应用于RNN才能体现出性能的改善。这也表明,要想超越简单的感知,内部神经元复杂度可能是必需的。

这些复杂性对于更高级的认知是必要的,这是现有深度学习认知系统所不具备的。无论是对抗特征的强健性,还是让机器学会忘记、学会忽略什么、学习抽象和识别上下文语境的切换,都是相当复杂的事。

预计在不久的将来,这一领域会出现更多积极大胆的研究。毕竟,大自然已经明确地告诉我们,神经元个体是更复杂的,因而我们创造的神经元模型也可能需要更复杂。

相关报道:

https://medium.com/intuitionmachine/neurons-are-more-complex-than-what-we-have-imagined-b3dd00a1dcd3

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2018-05-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨熹的专栏

纯粹的数学之美

当你爱上数学时,你可能愿意一辈子去研究它而不觉得厌烦,因为它的发展集成了无数人的贡献,自身是博大精深的,但输出却是简单的,简单到一个公式可以描述一个现象,一个方...

35710
来自专栏PPV课数据科学社区

【干货】近200篇机器学习&深度学习资料分享(上)

编者按:本文收集了百来篇关于机器学习和深度学习的资料,含各种文档,视频,源码等。而且原文也会不定期的更新,望看到文章的朋友能够学到更多。 《Brief Hist...

4126
来自专栏大数据文摘

Yann LeCun说是时候放弃概率论了,因果关系才是理解世界的基石

1994
来自专栏计算机视觉战队

视频大数据处理的挑战和机遇

背景: 视频在许多应用中是非常重要的问题,如内容搜索、智能内容识别广告等。现在正处在一个数据爆炸性增长的"大数据"时代,大数据对社会经济、政治、文化,人们生活等...

5029
来自专栏人工智能头条

一文读懂AlphaGo背后的强化学习

1523
来自专栏AI科技评论

参会见闻系列:ACL 2018,在更具挑战的环境下理解数据表征及方法评价

AI 科技评论按:本篇属于「顶会见闻系列」。每年这么多精彩的人工智能/机器学习会议,没去现场的自然可惜,在现场的也容易看花眼。那么事后看看别的研究员的见闻总结,...

1131
来自专栏机器之心

专栏 | 深度学习在NLP中的运用?从分词、词性到机器翻译、对话系统

竹间智能专栏 作者:自然语言与深度学习小组 自然语言是人类知识的抽象浓缩表示,而自然语言理解是人工智能研究领域中极具挑战的一个分支。上次,《自然语言处理在 20...

40111
来自专栏我是攻城师

近200篇机器学习&深度学习资料分享(含各种文档,视频,源码等)

6127
来自专栏机器之心

从Yoav Goldberg与Yann LeCun争论,看当今的深度学习、NLP与arXiv风气

选自Medium、Facebook 机器之心编译 作者:Yoav Goldberg、Yann LeCun 参与:黄小天、吴攀、晏奇 最近,来自以色列 Bar ...

2867
来自专栏AI科技评论

清华大学岂凡超:义原的介绍和义原的自动推荐 | AI研习社76期大讲堂总结

义原(Sememe)在语言学中是指最小的不可再分的语义单位,而知网(HowNet)则是最著名的义原知识库。近些年来,包括知网在内的语言知识库在深度学习模型中的重...

1023

扫码关注云+社区

领取腾讯云代金券