专栏首页ATYUN订阅号惊喜!神经元比我们想象的复杂的多

惊喜!神经元比我们想象的复杂的多

深度学习或人工神经网络(ANN)能够模拟生物神经元的观点,是个很大的误解。ANN充其量能模仿一个1957年的单个神经元模型的卡通版本。任何声称深度学习的人都是出于营销目的,或者从来没有读过生物文献。深度学习中的神经元本质上是数学函数,它对内部权重的输入执行相似函数。匹配越接近,执行动作的可能性就越大(即不向零发送信号)。这个模型也有例外,但它包含感知器、卷积网络和RNN。

Numenta公司的Jeff Hawkins一直抱怨说,需要一种更加生物化的方法。因此,他在构建认知机器的研究中,构建了一个更加贴近新皮层结构的体系。Numenta的神经元模型比神经元的深度学习模型要复杂得多,如图所示:

Numenta的团队正押注于这种方法,希望能创造出比深度学习更有能力的东西。目前还没有证据可以证明这是成功的。他们已经做了这么长时间,以至于他们中的一些人成功地减少了加班时间。相比之下,深度学习(尽管它是一个卡通神经元的模型)在执行各种令人难以置信的认知能力方面表现得出人意料的有效。深度学习正在做一些非常正确的事情,我们只是不知道那到底是什么!

不幸的是,我们不得不在所有的研究中加入新的扳手。关于神经元性质的新实验表明,生物神经元比我们想象中的更复杂:

(1)单个神经元的峰值波形通常随刺激部位的函数而变化;

(2)不同方向的细胞外刺激缺乏空间求和;

(3)结合细胞内和细胞外刺激以及非局部时间干扰(刺激的精确时间是不相关的),不能实现空间求和和相减。

简而言之,在单个神经元内发生的事情要比简单的整合和刺激的想法多得多。神经元不是纯粹的功能,而是具有我们尚未理解的行为的状态机器。

如果你认为这会给我们的理解带来麻烦,那么有一个更新的发现揭示了更大的复杂性:

  • 许多由神经元释放的细胞外囊泡含有称为弧的基因,这有助于神经元彼此建立连接。被设计为缺乏Arc的小鼠具有形成长期记忆的问题,并且一些人类神经障碍与该基因相关联。

这项研究揭示了神经元之间通过发送RNA编码来相互交流的机制。这些是指令包,而不是数据包。发送代码和发送数据之间有着深刻的区别。这意味着一个神经元的行为可以改变另一个神经元的行为;不是通过观察,而是通过注入行为。

所以在现实中,即使是在我们认知的最小单位中,也有一种对话是在个体神经元之间进行的,它们改变了彼此的行为。因此,神经元不仅具有状态,而且神经元也是具有指令集和发送代码的机器。很抱歉,这只是另一个层次的复杂性。

现在是时候回到绘图板,开始探索更复杂的神经元了。我们迄今为止看到的更复杂的类型是来自LSTM派生的类型。这是对LSTM-like神经元进行强力建筑搜索的结果:

现在还不清楚为什么这些更复杂的LSTM更有效。只有架构搜索算法知道,但它不能解释自己。

与标准的LSTM相比,它显示出可衡量的改进:

综上所述,一个探索更复杂的神经元种类的研究计划可能会带来有希望的结果。这与研究在神经网络中使用复杂值的研究没有什么不同。在这些复杂且有价值的网络中,只有在RNN网络上才会注意到性能改进。这表明,这些内部神经元的复杂性可能是超越简单感知的能力所必需的。我怀疑这些复杂性对于高级认知来说是必要的,它们似乎可以逃避当前的深度学习系统。这些包括对抗功能的强健性,学习忘记,学习什么要忽略,学习抽象和认识上下文切换。

我预计在不久的将来,我们将在这一领域看到更积极的研究。毕竟,大自然已经明确地告诉我们,神经元的个体是更复杂的,因此我们自己的神经元模型也可能需要更复杂。也许我们需要像Grassmann代数那样复杂的东西来取得进展。

RGF是另一种树集成技术,它类似梯度下降算法,可用于有效建模非线性关系。

本文分享自微信公众号 - ATYUN订阅号(atyun_com)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 赫尔辛基大学AI基础教程:神经网络基础(5.1节)

    原因之一是希望了解我们自己的思想,这是从我们大脑中的神经处理中产生的。另一个原因是近年来通过结合大量数据集和深度学习技术实现的机器学习的进步。

    AiTechYun
  • 【学术】如何在神经网络中选择正确的激活函数

    在神经网络中,激活函数是必须选择的众多参数之一,以通过神经网络获得最优的成果和性能。 在这篇文章中,我将假设你已经理解了神经网络工作的基本原理,并将详细介绍涉及...

    AiTechYun
  • 【业界】神经模拟再突破,NEST算法可以100%模拟人脑

    AiTechYun 编辑:nanan ? 科学家们一直试图找到将大脑处理能力带到计算机上的方法。创建能够模拟人脑的算法,以及神经元如何工作是实现这一梦想的关键。...

    AiTechYun
  • 学界 | DeepMind论文解读:通过删除神经元来了解深度学习

    AI科技评论按:深度神经网络由许多单独的神经元组成,它们以复杂且违反人直觉的方式组合起来,以解决各种具有挑战性的任务。这种复杂性一方面赋予神经网络神秘力量,另一...

    AI科技评论
  • DeepMind 最新研究:通过删除神经元理解深度学习!

    理解深度神经网络的运作机制对于帮助我们解释它们的决定,以及构建更强大的系统起到了至关重要的作用。例如,试想在不了解个体齿轮如何啮合的情况下去构建时钟会有多么的困...

    朱晓霞
  • 李宏毅深度学习之Deep Learning全连接层

    神经网络(神经网络主要包括输入,隐藏与输出层。其中,隐藏与输出的每个小圆圈表示一个神经元。

    瓜大三哥
  • 世界首创人工神经元!Nature最新研究掀范式革命,可用于治疗多种疾病

    近期,科学家们发明了不仅表现得像生物神经元的人工神经元,而且该人工神经元还仅需要微处理器的十亿分之一的功率,因此非常适合用于医疗植入物和其他生物电子仪器。

    新智元
  • Cell研究揭示生物神经元强大新特性,是时候设计更复杂的神经网络了!

    大数据文摘
  • 学界丨MIT重磅研究:基于人工神经网络,探索抑制神经元的生物学意义

    在近几年,人工神经网络——一种参照大脑运作模式而建成的计算模型——已经成为了最为炙手可热的人工智能系统,并且应用于从语音到图像的各个领域。 AI科技评论消息,M...

    AI科技评论
  • DeepMind 最新研究:通过删除神经元理解深度学习

    【新智元导读】深度神经网络由许多个体神经元组成,具有很高的复杂性。这种复杂性使其难懂,被认为是看不透的黑匣子。DeepMind最新发表针对对单一方向泛化的重要性...

    新智元

扫码关注云+社区

领取腾讯云代金券