专栏首页arxiv.org翻译专栏深度人工神经元的持续学习(CS AI)
原创

深度人工神经元的持续学习(CS AI)

真实大脑中的神经元是极其复杂的计算单元。除此之外,它们还负责将输入的电化学向量转化为输出的动作电位,更新中间突触的强度,调节自身的内部状态,并调节附近其他神经元的行为。有人可能会说,这些细胞是唯一显示出真正智慧的东西。因此,奇怪的是,机器学习社区这么长时间以来一直依赖于这样一种假设,即这种复杂性可以简化为简单的求和和火运算。我们问,在人工系统中大幅增加单个神经元的计算能力是否会有一些好处?为了回答这个问题,我们引入了深度人工神经元(DANs),它们本身被实现为深度神经网络。从概念上来说,我们在传统神经网络的每个节点中嵌入DANs,并在多个突触位点连接这些神经元,从而矢量化成对细胞之间的连接。我们证明了元学习单个参数向量是可能的,我们称之为神经元表型,由网络中的所有DAN共享,这有助于部署期间的元目标。在这里,我们将持续学习作为我们的元目标,我们表明,一个合适的神经元表型可以赋予一个单一的网络以与生俱来的能力,以最小的遗忘更新其突触,使用标准的反向传播,没有经验重放,也没有单独的唤醒/睡眠阶段。我们在顺序非线性回归任务中证明了这种能力。

原文题目:Continual Learning with Deep Artificial Neurons

原文:Neurons in real brains are enormously complex computational units. Among other things, they’re responsible for transforming inbound electro-chemical vectors into outbound action potentials, updating the strengths of intermediate synapses, regulating their own internal states, and modulating the behavior of other nearby neurons. One could argue that these cells are the only things exhibiting any semblance of real intelligence. It is odd, therefore, that the machine learning community has, for so long, relied upon the assumption that this complexity can be reduced to a simple sum and fire operation. We ask, might there be some benefit to substantially increasing the computational power of individual neurons in artificial systems? To answer this question, we introduce Deep Artificial Neurons (DANs), which are themselves realized as deep neural networks. Conceptually, we embed DANs inside each node of a traditional neural network, and we connect these neurons at multiple synaptic sites, thereby vectorizing the connections between pairs of cells. We demonstrate that it is possible to meta-learn a single parameter vector, which we dub a neuronal phenotype, shared by all DANs in the network, which facilitates a meta-objective during deployment. Here, we isolate continual learning as our meta-objective, and we show that a suitable neuronal phenotype can endow a single network with an innate ability to update its synapses with minimal forgetting, using standard backpropagation, without experience replay, nor separate wake/sleep phases. We demonstrate this ability on sequential non-linear regression tasks.

原文作者:Blake CampJaya Krishna MandivarapuRolando Estrada

原文地址:https://arxiv.org/abs/2011.07035

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 有状态世界中的性能预测(CS ML)

    部署的监督机器学习模型做出预测,与世界互动并影响世界。佩尔多莫等人(2020)将这种现象称为施为性预测,他们在无状态环境中对此进行了研究。我们将他们的结果推广到...

    识檐
  • 基于图论的分布式网格恢复(CS SC)

    随着智能电网作为广域配电的主要手段的出现,提高其故障和灾难恢复能力的重要性日益增加。配电系统的可靠性取决于其对攻击的容忍度和攻击发生后的恢复效率。本文提出了一种...

    识檐
  • 星际转移轨道设计的差分进化优化工具(CS AI)

    星际转移轨道设计中极其敏感和高度非线性的搜索空间给全局优化带来了巨大挑战。作为代表,目前已知的由欧洲航天局(ESA)设计的全球轨道优化问题(GTOP)的最佳解是...

    识檐
  • 【Rust日报】2020-08-25 为什么我们应该关注 Rust 语言?

    这是 微软 Azure 云团队 的 Ryan Levick 在 Rust Linz 线上Rust Meetup 的分享,分享内容主要是他对Rust语言的看法,其...

    MikeLoveRust
  • LeetCode 381. O(1) 时间插入、删除和获取随机元素 - 允许重复

    insert(val):向集合中插入元素 val。 remove(val):当 val 存在时,从集合中移除一个 val。 getRandom:从现有集合中...

    韩旭051
  • Membership三步曲之入门篇 - Membership基础示例

    Membership类成员介绍   一般来讲我们的网站要实现的与用户相关的最基本功能包括:注册,登录,修改用户资料和密码。Membership为我们提供了以下...

    用户1153966
  • 原创译文 | 英伟达的詹森•黄谈白宫的人工智能倡议

    不是那种你希望在人工智能技术上加速的人。但美国科技公司上周到白宫朝圣,告诉他这很重要。《AI政策峰会》呼吁工业、学术界和政府合作,在人工智能领域与其他国家展开竞...

    灯塔大数据
  • 走向核心技能的一般和自主学习:一个关于运动的案例研究

    现代强化学习算法有望直接从原始感觉输入中解决困难的运动控制问题。它们之所以吸引人,部分是因为它们代表了一种通用的方法,即使对于人类专家来说很困难或很昂贵,它们也...

    用户7703613
  • mongodb分片

    分别在三台机器上面创建 mkdir -pv /data/mongodb/mongos/log mkdir -pv /data/mongodb/config/{d...

    零月
  • Linux基金会的首届虚拟开源峰会

    Linux Foundation首次虚拟峰会的成功很可能为新水平的开源参与树立了标准。 峰会的高手关闭了7月2日为期4天的联合聚会的虚拟大门。该活动主办了202...

    YH

扫码关注云+社区

领取腾讯云代金券