专栏首页arxiv.org翻译专栏关于深度学习自然梯度的局部性(CS LG)
原创

关于深度学习自然梯度的局部性(CS LG)

我们研究了自然梯度法在深度贝叶斯网络(包括神经网络)中的学习。有两个与这种学习系统相关的自然几何体,包括可见单元和隐藏单元。一个几何体与完整系统相关,另一个几何体与可见子系统相关。这两种几何图形意味着不同的自然梯度。在第一步,我们证明了对第一种几何体的自然梯度进行了极大的简化,由于费舍尔信息矩阵的位置性属性。这种简化并不能直接转化为对第二几何体的相应简化。我们开展研究了两个版本的自然梯度之间的关系的理论,并在第一种几何体的基础上,提出了一种对第二种几何体自然梯度的简化方法。该方法建议在深度网络中将识别模型作为辅助模型,加入自然梯度法作为一种高效的应用结合。

原文题目:On the Locality of the Natural Gradient for Deep Learning

原文:We study the natural gradient method for learning in deep Bayesian networks, including neural networks. There are two natural geometries associated with such learning systems consisting of visible and hidden units. One geometry is related to the full system, the other one to the visible sub-system. These two geometries imply different natural gradients. In a first step, we demonstrate a great simplification of the natural gradient with respect to the first geometry, due to locality properties of the Fisher information matrix. This simplification does not directly translate to a corresponding simplification with respect to the second geometry. We develop the theory for studying the relation between the two versions of the natural gradient and outline a method for the simplification of the natural gradient with respect to the second geometry based on the first one. This method suggests to incorporate a recognition model as an auxiliary model for the efficient application of the natural gradient method in deep networks.

原文作者:Nihat Ay

原文地址:https://arxiv.org/abs/2005.10791

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于多尺度特征融合神经网络的地震激发采集噪声定位方法(CS CV)

    基于深度学习的模型,如卷积神经网络等,推动了计算机视觉的各个领域的发展。然而,该技术很少应用于地震激发采集噪声定位问题。本文介绍了一种基于多尺度特征融合网络的多...

    刘持诚
  • 打破平衡局面:通过自适应偏置提高平衡分频器的探索能力(CS NE)

    在遗传算法(GA)中使用平衡交叉算子确保了作为子代产生的二进制字符串具有与父代相同的汉明权重,这在某些离散优化问题中是一种约束,是某些离散优化问题中需要寻求的约...

    刘持诚
  • 费雪信息的非参数估计及其应用(CS IT)

    本文考虑了从大小为 的随机样本中估计位置的费雪信息的问题。首先,重新审视了 Bhattacharya 提出的估计器,并得出了改进的收敛率。其次,提出了一个...

    刘持诚
  • 用数学为爱情保鲜

    16/5/22 数学的力量 爱情数学 心得: 数学的力量是很强大的,它存在于我们的生活中,影响着我们的生活,无处不在。 说得简单一些,数学就是一门研究...

    杨熹
  • ORA-12519的错误和解决

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    bisal
  • Leetcode 292. Nim Game

    You are playing the following Nim Game with your friend: There is a heap of sto...

    triplebee
  • Leetcode 292. Nim Game

    You are playing the following Nim Game with your friend: There is a heap of sto...

    triplebee
  • hdu---(3779)Railroad(记忆化搜索/dfs)

    Railroad Time Limit: 4000/2000 MS (Java/Others)    Memory Limit: 32768/32768 K (...

    Gxjun
  • Connecting language and knowledge with heterogeneous representations for neural relation extraction

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/JN_rainbow/article/details/...

    JNJYan
  • Dense Associative Memory Is Robust to Adversarial Inputs

    https://github.com/DimaKrotov/Dense_Associative_Memory/blob/master/Dense_Associa...

    用户1908973

扫码关注云+社区

领取腾讯云代金券