【思考】为什么我们需要一个比反向传播更好的学习算法?

【导读】如今,反向传播算法(Backpropagation)可以说是神经网络模型的标配学习方法,可以在网络的学习过程中计算损失函数的偏导数,从而进一步用随机梯度下降等算法来求解参数。但是,本文作者Kailash Ahirwar表示,我们在深度学习过程中需要一个比反向传播更好的学习算法。为什么呢?因为反向传播有种种缺陷:速度慢、存在梯度消失和爆炸问题,容易出现过拟合和欠拟合现象。本文并未提出一个新的替代方法,旨在揭露反向传播的不足,希望能有助于读者的理解。

Why we need a better learning algorithm than Backpropagation in Deep Learning

我们都知道,反向传播是一个革命性的学习算法。它能帮助我们训练几乎所有的神经网络架构。 在GPU的帮助下,反向传播将训练时间从几个月缩短到了几个小时/几天。 它允许对神经网络进行有效的训练。

它之所以被广泛使用我认为有两个主要原因:(1)我们没有比反向传播更好的方法,(2)它能起作用。 反向传播是基于微分的链式规则(chain rule ofdifferentiation)。

问题在于反向传播算法本身的实现。 要计算当前层的梯度,我们需要知道下一层的梯度,所以当前层就被锁定了,因为我们无法计算当前层的梯度,除非我们有下一层的梯度。如果我们的网络中有1000个层,第一层必须等到最后一层梯度计算完之后才能更新权重。 因此,神经网络中最初的几层不能正确更新。有时候,在Sigmoid激活函数的情况下,当梯度传播回来时,梯度将会消失或爆炸。

当我们做决定的时候,我们根据当前的观察和以前的学习来做出决定。 目前的神经网络或深度学习算法与我们做决定的方式并不一样。我们是根据经验来做决定的,例如,当我们走路时,我们使用视觉,音频等感官输入来做出决定。我们也从一个任务学习其他任务。

反馈算法有以下限制:

  • 它很慢,所有先前的层都会被锁定,直到计算出当前层的梯度;
  • 存在梯度消失和梯度爆炸问题;
  • 存在过拟合和欠拟合问题;
  • 它仅考虑预测值和实际值来计算误差并计算与目标函数相关的梯度,部分梯度与反向传播算法有关;
  • 它没有考虑类间的空间相关性和空间不相关性,而只是计算与目标函数有关的错误(部分与Backpropagation算法有关);

DeepMind的合成梯度(syntheticgradients)是一个变通方法,但它称不上一个解决方案。 在我看来,我们必须从头开始思考,设计一个新的学习算法,可以有效地学习,并可以帮助我们的网络实时学习。

关于作者(Kailash Ahirwar):

https://towardsdatascience.com/@kailashahirwar

我是MateLabs的联合创始人,在那里我们建立了Mateverse,一个ML平台,它使每个人都可以轻松地构建和训练机器学习模型,而无需编写一行代码。

参考链接:

https://towardsdatascience.com/why-we-need-a-better-learning-algorithm-than-backpropagation-in-deep-learning-2faa0e81f6b

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-02-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

解开贝叶斯黑暗魔法:通俗理解贝叶斯线性回归

【导读】本文是悉尼大学博士生 Thushan Ganegedara 撰写的一篇博文,主要介绍贝叶斯线性回归的内在原理。我们知道,深度学习可以利用大规模数据产生很...

1.2K11
来自专栏机器之心

CVPR 2018 | 自监督对抗哈希SSAH:当前最佳的跨模态检索框架

选自arXiv 作者:Chao Li等 机器之心编译 参与:Pedro、刘晓坤 近日,西安电子科技大学、优必选和腾讯 AI Lab 联合提出了一种新型跨模态哈希...

4017
来自专栏机器之心

用AI让静图变动图:CVPR热文提出动态纹理合成新方法

选自arXiv 作者:Matthew Tesfaldet等 机器之心编译 参与:路、李泽南 图画总是只能表现事物瞬间的形象,而动画则需要逐帧手绘,费时费力,人工...

3496
来自专栏量子位

一文看懂自动驾驶中应用的机器学习算法

安妮 唐旭 编译自 KDnuggets 量子位出品 | 公众号 QbitAI 机器学习算法已经被广泛应用于自动驾驶各种解决方案,电控单元中的传感器数据处理大大提...

3457
来自专栏机器学习原理

机器学习篇(1)——基础定义流程

前言: 以下是在自己理解的基础上做的总结,介绍了机器学习的定义以及评估算法的几个概念 定义 机器学习是一门从数据中研究算法的科学学科。是根据已有的数据,...

3834
来自专栏数据派THU

一文读懂神经网络(附PPT、视频)

本文共6500字,建议阅读10分钟。 本文从神经网络的发展历史出发,为你介绍感知器模型、前馈神经网络及BP算法。 [导读] 提起神经网络,你会想到什么?关于深度...

5269
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

3638
来自专栏机器学习算法工程师

AI从业者搞懂---这10种深度学习方法---老婆孩子热炕头

作者:王抒伟 编辑:王抒伟 首先,让我们来看看主要有啥 1 1.机器学习 过去的十年里已经爆炸了。 大伙几乎每天都会在计算机科学计划,行业会议和各大公众号看到...

4718
来自专栏目标检测和深度学习

MIT 6.S094· 深度学习 | 学霸的课程笔记,我们都替你整理好了

计算机视觉,到目前为止都是深度学习。并且大部分成功理解图片含义的案例都是使用神经网络。

1275
来自专栏AI科技大本营的专栏

机器学习101:我们天天都在说的机器学习,究竟该怎么入门?

为了使大家对机器学习有一个基本的认识,在这篇文章中,我们将对以下四个主题做简要的介绍: 什么是机器学习? 机器学习模型的训练。 模型参数的优化。 神经网络。 即...

3045

扫码关注云+社区

领取腾讯云代金券