专栏首页arxiv.org翻译专栏克服神经网络灾难性遗忘的自然方法(CS LG)
原创

克服神经网络灾难性遗忘的自然方法(CS LG)

不久前,人们发现了一种成功克服神经网络灾难性遗忘的方法。虽然我们知道,针对特定任务,可以用这种方法将预先训练好的神经网络应用于该特定任务,并且通过这种方法来保存技能,但这种方法还没有得到广泛的传播。本文提出了另一种克服灾难性遗忘的替代方法,该方法基于通过网络中每个连接的总绝对信号。这种方法实施简单,在我们看来,它基本上接近于动物大脑中发生的过程,在随后的学习中保存先前学习的技能。我们希望,这一方法易于实施的有点将有助于它的广泛应用。

原文题目:Natural Way to Overcome the Catastrophic Forgetting in Neural Networks

原文:Not so long ago, a method was discovered that successfully overcomes the catastrophic forgetting of neural networks. Although we know about the cases of using this method to preserve skills when adapting pre-trained networks to particular tasks, it has not yet obtained widespread distribution. In this paper, we would like to propose an alternative method of overcoming catastrophic forgetting based on the total absolute signal passing through each connection in the network. This method has a simple implementation and seems to us essentially close to the processes occurring in the brain of animals to preserve previously learned skills during subsequent learning. We hope that the ease of implementation of this method will serve its wide application.

原文作者:Alexey Kutalev

原文地址:https://arxiv.org/abs/2005.07107

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 打断别人会有好结果吗?插播广告对消费者支付意愿的影响(CS CY)

    我们展示了一项研究的结果,该研究旨在衡量插播广告对消费者购买该广告品牌的产品意愿的影响。在一项对照实验中,研究人员让受试者玩一款电脑游戏,并在途中插播了一些广告...

    奥斯特洛夫斯萌
  • 避免护理机器人对痴呆症患者的不当治疗(CS RO)

    “最残忍和最令人发指的罪行”一词被用来描述历史上那些本应有责任保护和帮助患者的人,对脆弱的患者实施的一些不良护理。我们相信历史在不断重演,因为越来越多像人类一样...

    奥斯特洛夫斯萌
  • 一个用于Android隐私政策文档结构分析的语料库(CS CY)

    随着移动设备的日益普及和移动应用的广泛应用,隐私问题逐渐受到关注。隐私政策作为一种表明法律条款的适当媒介,如GDPR,被认为是约束服务提供商和用户之间的法律协议...

    奥斯特洛夫斯萌
  • Tracking Emerges by Colorizing Videos

    Carl Vondrick , Abhinav Shrivastava , Alireza Fathi , Sergio Guadarrama ,Kevin M...

    用户1908973
  • 通过共分割实现基于涂鸦的域自适应

    中文摘要:虽然深卷积网络在许多医学图像分割任务中已经达到了最先进的性能,但它们通常表现出较差的泛化能力。为了能够从一个领域(例如,一种成像模式)归纳到另一个领域...

    用户7454122
  • End-to-end Driving via Conditional Imitation Learning

    Felipe Codevilla, Matthias Müller, Alexey Dosovitskiy, Antonio López, Vladlen Ko...

    用户1908973
  • C++核心准则C.152:永远不要将派生类数组的指针赋值给基类指针

    Subscripting the resulting base pointer will lead to invalid object access and p...

    面向对象思考
  • 乐器分类的端对端对抗性白盒攻击行为(CS SD)

    对输入数据的小规模对抗性扰动会在很大程度上改变机器学习系统的性能,从而对这种系统的有效性提出挑战。我们提出了第一个针对乐器分类系统的端到端对抗性攻击,允许直接在...

    Rosalie
  • NodeJS 各websocket框架性能分析

    For a current project at WhoScored, I needed to learn JavaScript, Node.js and We...

    庞小明
  • 数据是未来工厂的关键

    大数据文摘

扫码关注云+社区

领取腾讯云代金券