专栏首页AI科技评论皮层网络结构的联想学习“理论”

皮层网络结构的联想学习“理论”

1. 皮层神经网络结构解析:难!

人们常说:结构决定功能。这句话可能并不完全正确。但至少说明:对于任意的一个物理系统,其功能很大程度上取决于其结构,比如大脑。大脑相比于传统的计算机,在信息处理的很多方面都不相同,比如其信息感知,传递,处理和存储的方式或方法,以及信息处理的能量利用效率等等。所有这些功能都依赖于大脑皮层错综复杂而又相对有序的结构。

弄清楚大脑到底具有什么样的结构并不容易,甚至可以说很难。大脑皮层有着极其复杂的结构,无论是从单个突触的角度,还是单个细胞,或者是某一个具体的皮层区域。目前,对于皮层神经网络中不同类型的神经细胞之间的网络连接结构,人们知道的尤其少。究其原因,主要有如下两条。首先,由于大脑皮层可能由上百种不同的细胞所组成(具体多少种还没有定论,假如类别数为C),如果要在统计上描述皮层网络的连接特征,那么,我们至少应该知道任意两种细胞类型之间的连接概率。这样,一共有C的平方条皮层连接通路。C的平方,这是一个巨大的数字!然而,目前实验上还只是研究了很少一部分神经细胞间的连接通路的特性。其次,相比于其他的物理系统,大脑皮层网络结构是高度动态的。神经细胞之间通过突触建立连接,其突触大小反映了细胞之间的连接强度。实验发现,很多突触的大小在数分钟之内就会变化甚至消失。因此,以上两个客观事实表明,弄清楚大脑连接的结构是当代神经科学非常具有挑战性的科学问题。

2. 局域皮层神经网络结构特征

随着近些年神经科学实验技术的快速发展 (比如近些年开发出的各种脑结构成像技术),有关描述神经系统结构和功能方面的数据开始大量累积。在这方面,欧洲开展的蓝脑计划(Blue Brian Project),美国的脑计划(Brain initiative),还有中国脑计划都有相关的脑结构或者功能图谱相关的解析工作计划。目前为止,通过电生理实验技术,我们对于大脑皮层局域网络神经细胞之间(小于100微米)的连接统计特性已经积累了很多的认识。详细地整理局域皮层网络细胞之间到底有什么样的定量连接特征显得愈发必要(具体细节见文献[1]),为此,我们查找并收集了自1990年到2016年描述皮层神经网络细胞连接规律的一共近200篇文献。数据集显示,细胞之间兴奋性的连接概率通常较小(小于20%),而抑制性的连接概率较大(25%到56%);细胞之间突触连接强度服从长尾分布,通常被大家拟合为log-normal 分布;两个、三个或者三个以上细胞之间的连接模式也有特定的规律,尽管这方面的实验文献报道还相对较少。综上,所有这些文献都一致表明,大脑皮层网络不同的细胞之间绝对不是简单的随机连接网络。

3. 联想学习与皮层神经网络的结构

做了一些文献整理工作后,作为计算建模工作人员,我们想问一个更进一步的问题:大脑连接结构背后存在着一个一般性的原则或者规律吗?自伟大的神经心理学家Donald O. Hebb以来,就有观点认为皮层网络的学习,特别是突触层面的学习,直接影响了神经网络的结构。神经科学领域有一句广泛传播的名言,“fire together, wire together (一起兴奋,一起连接)”, 就是描述了突触学习可塑性与细胞之间连接的定性关系。神经系统可能就是通过修改突触连接强度,从而将长时程联想式记忆存储于神经网络的连接结构之中。联想式记忆可以简单的理解为神经网络所学会的特定输入与特定输出的匹配关系,因而,如果给定一个神经网络刺激模式A,神经网络会输出B将A联想在一起。不同的皮层网络,它们的区别可能只是联想式记忆的具体形式不同而已。如果B等于A,这种记忆称之为为吸引子,它可能存在于前额叶皮层(prefrontal cortex);如果B对应于神经元群体的时空活动模式,这种联想式记忆可能存在于运动皮层或者躯体感觉皮层。几十年来,很多从事神经网络研究的科学家在计算模型上对这一问题上做了很多有益的探索,比如二十世纪五十年代Rosenblatt的感知机模型,1982年Hopfield的Hopfield 模型,以及后来的联想学习模型 [2-6]。然而,突触学习在多大程度上影响或者决定了皮层网络的结构,还不得知。

4. 联想学习模型可以解释皮层神经网络结构和动力学特征

皮层网络中每一个神经细胞接收来自其它成千上万个细胞的电脉冲(spikes)输入,其中一些刺激模式被细胞存储下来形成长时程的联想记忆。在成年的动物皮层网络中,其所存储的联想式记忆可能已经达到了一个稳定状态。在这一稳态下,神经网络的结构特征在统计上相对稳定,新的记忆的形成必须伴随着旧的记忆的丢失。基于此猜想,我们考虑了一个回归连接的联想学习网络模型(recurrent network)(右上图)以模拟一个局域的皮层功能柱神经网络(左上图),其厚度约2mm,半径在几百个微米左右。在这个局域网络中,由于细胞稠密的树突和轴突三维投射结构,任何两个兴奋性细胞或者抑制性细胞在几百个微米范围内都能建立功能上的突触连接,我们称之为潜在连接(potential connection)。通过将不同数量的或不同类型的联想记忆(左下图)装入回归连接网络,我们对比了联想学习网络的结构和动力学特征与实验上所观察到的结构和动力学特征。实验发现,在网络的一个特定参数范围内(右下图),联想学习网络其15个结构和动力学特征与我们收集到的描述皮层神经网络结构和动力学的特征相匹配。这些特征包括:兴奋性和抑制性连接概率,兴奋性和抑制性突触连接强度的分布,两个细胞双向连接的过表达程度,三个细胞中特定motif连接结构的过表达程度,3-8个细胞中突触连接个数的分布,单细胞的不规则性放电行为(irregular),细胞群体非同步放电行为(asynchronous)以及单细胞兴奋性和抑制性电流的相关系数。应用Gardner发明的统计物理学方法 replica method,我们从理论上严格的推算出联想学习网络结构特征跟模型中相关参数的定量关系。同时,我们也提出了两种数值的学习算法,分别为convex optimization 和modified perceptron learning rule,证实了联想学习模型理论计算的准确性以及数值计算的可实现性。

5. 展望

我们所对比的实验数据来自于哺乳动物感觉皮层和与高级认知任务相关的联想皮层(association cortex),证明了一般意义上联想学习模型可以解释实验上所观测到的描述皮层神经网络的结构特征和动力学特征,因此,皮层神经网络的结构可能仅仅只是联想学习的结果。对于一个特定的皮层区域网络结构,我们的模型是否能定量的解释其具体的结构特征,还有待今后进一步的工作。最后,我们要指出的是,标题中所说的“理论”还不是真正的理论,还有待实验上和模型上的进一步大量工作,路漫漫其修远兮。我们只是随大流用“理论”来夸张一下,以吸引读者的注意。发现现象背后的规律是我们追求的方向,也许,大脑可能没有一个theory of everything, 但是肯定存在models of many things,我们坚信。

6. 参考文献

  1. Zhang, Danke, Chi Zhang, and Armen Stepanyants. "Robust associative learning is sufficient to explain the structural and dynamical properties of local cortical circuits." Journal of Neuroscience (2019): 3218-18
  2. Gardner, E. (1988). The space of interactions in neural network models. J. Phys. A Math. Gen. 21, 257–270. doi: 10.1088/0305-4470/21/1/030
  3. Brunel, N., Hakim, V., Isope, P., Nadal, J. P., and Barbour, B. (2004). Optimal information storage and the distribution of synaptic weights: perceptron versus Purkinje cell. Neuron 43, 745–757. doi: 10.1016/j.neuron.2004.08.023
  4. Chapeton, J., Fares, T., Lasota, D., and Stepanyants, A. (2012). Efficient associative memory storage in cortical circuits of inhibitory and excitatory neurons. Proc. Natl. Acad. Sci. U.S.A. 109, E3614–E3622. doi: 10.1073/pnas.1211467109
  5. Rosenblatt, F. (1958). The perceptron: a probabilistic model for information storage and organization in the brain. Psychol. Rev. 65, 386–408. doi: 10.1037/h0042519
  6. Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. U.S.A. 79, 2554–2558. doi: 10.1073/pnas.79.8.2554

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 干货 | 2 分钟论文:神经网络开始自我学习,说是用了架构搜索新算法

    来源 / Two Minute Papers 翻译 / 严谨文 校对 / 凡江 整理 / 雷锋字幕组 本期论文:结合分层表示的高级架构搜索 Hierarchic...

    AI科技评论
  • 学界 | MIT CSAIL最新研究:Network Dissection可全自动内窥神经网络活动过程

    AI科技评论按:据外媒TechCrunch最新报道,MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)发明了一种可以全自动内窥神经网络活动的系统Net...

    AI科技评论
  • 学界 | 标题党太吓人?这篇文章会告诉你DeepMind关系推理网络的真实面貌

    每当DeepMind发表一篇新论文时,媒体都会狂热的跟踪报道,而且会使用很多误导人的短语。比如关于该关系推理网络的报道: DeepMind开发了一种神经网络,能...

    AI科技评论
  • 用手机玩转BP神经网络

    早前Google Tensorflow开源了一个在线实验的神经网络平台PlayGround,它是一个入门神经网络非常直观的网站,可以将神经网络的训练过程直接可视...

    统计学家
  • 神经网络(Neural Networks)课程ppt及视频

    用户1908973
  • 解密Deep Q-learning中Deep的秘密

    AI程序通过Q-learning,可以完成对于一个游戏从无到有的策略学习。其策略,即Q-table是一个由状态(state)和动作(action)组成的表格,里...

    HuangWeiAI
  • 吴恩达 —— 深度学习 Course 1 笔记

    Course1:神经网络和深度学习,包括: ---- [1] Week1:深度学习概述 [2] Week2:神经网络基础 [3] Week3:浅层神经网络 ...

    echobingo
  • 深度学习入门笔记系列 ( 八 ) ——基于 tensorflow 的手写数字的识别(进阶)

    本系列将分为 8 篇 。本次为第 8 篇 ,基于 tensorflow ,利用卷积神经网络 CNN 进行手写数字识别 。

    小小詹同学
  • 微软亚洲研究院刘铁岩博士:迎接深度学习的“大”挑战

    AI科技评论按:本文根据刘铁岩博士在中国人工智能学会AIDL第二期人工智能前沿讲习班*机器学习前沿所作报告《迎接深度学习的“大”挑战》编辑整理而来,发文前已得到...

    AI科技评论
  • 微软亚洲研究院刘铁岩博士:迎接深度学习的「大」挑战(文末赠书)

    AI 科技评论按:本文根据刘铁岩博士在中国人工智能学会 AIDL 第二期人工智能前沿讲习班*机器学习前沿所作报告《迎接深度学习的「大」挑战》编辑整理而来,发文前...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券