专栏首页AI2ML人工智能to机器学习易图秒懂の深度学习诞生 问题篇

易图秒懂の深度学习诞生 问题篇

认知科学改写了一帮搞物理的人在做神经网络的局面(参考 ”易图秒懂の连接主义诞生“), 从此以心理学大师Estes的学生,Rumelhart为代表的连接主义的早期工作慢慢成为基础, 以认知科学大佬Christopher的学生Hinton为代表的深度学习登上历史舞台。 深度学习的影响力不是仅仅通过文章来传播的!而是掀起了应用的狂潮~ 因为跨越式效果提示。

前言

前面讲过Rumelhart重新发表了BP backpropagation算法, 从此掀起了连接主义的新时代。 Hinton是其中的重要参与者。

为什么是Rumelhart发明的BP算法?

早早的BP算法被Werbos发明了,多层感知机MLP就可用了, 甚至在Rumelhart之前, Hinton的学生Yann Lecun也号称重新发明了BP算法, 为啥不是他们?

最重要的是Rumelhart受到Grossberg的影响(这个Grossberg就是ART的发明人, 他对Hopfield网络时代的成果进行了广泛的总结), 默认激活函数就应该是sigmoid函数。 如果默认是Sigmoid函数之后, 利用Sigmoid函数导数的良好性质。 Rumelhart的BP算法的形式极其极其的简单! 易经告诉我们, 简而易从, 易从则有功, 有功乃大! 这就是为什么是Rumelhart!

Sigmoid函数就是标准logistic函数, 它的导数的形式真是简单。

再回到Lecun的贡献, Lecun给出了BP算法详细的梯度下降的分析, 所以Lecun这种对性能追求的态度也是一种很大的贡献。

再回到Werbos的贡献,他给出了导数递归求解的形式,但是相对比较复杂, 也没有相关性能分析解释, 只是一堆自己很理解的公式。

这样, 我们开始回顾BP盛行后带来什么问题导致了深度学习的爆发?

一图抵千言

前面讲过在Hopfield网络发展出来的Elman网络就是SRN,简单递归网络。 出现了BPTT,EKF和RTRL三大算法。 但是实际应用的效果却非常不好!有个做语音识别的叫Schmidhuber的家伙,带着他的硕士学生Hchreiter,就开始认知的生成图片分析到底什么问题!结果这个叫Hchreiter的硕士很给力, 画除了各种效果图, 在硕士论文中把问题写清楚了, 是梯度消失或者爆炸。

前面不是讲到新的Rumelhart的BP算法时代, 默认的激活函数是Sigmoid函数, 这样就会连续多次求导之后乘积就会带来要么指数消失,要么指数爆炸的情况。 为了解决这个问题, 这个硕士生Hchreiter很给力, 利用记忆学习的思路, 搞出了LSTM的模型, 一应用,效果很好!从此Schmidhuber他开启了各种应用。 后来还开了公司Nnaisense搞自动驾驶,聘请了他的学生来做顾问。 另外他的类似堂吉柯德的自画像和他按照Godel的思想搞得Godel Machine也很有意思。并且他还最早提出了Pretraining的思想, 不过是应用到RNN上面的 。

虽然Hochreiter发现并且发表了这个梯度消失的问题, 但是却是德文的, 影响力大打折扣。 并且也没有太混连接主义的圈子。 真正开启影响的是Bengio。 Bengio是利用神经网络做自然语言处理的大师, 他在利用RNN做Long Term Dependency的问题也发现了梯度消失了。 而这个Bengio就是Rumerhart学生Jordan的博士后。 这一下子就接触了连接主义的核心圈子了。 那时候, 这些核心圈的人Jordan还有Hinton在做贝叶斯网络图模型的(参考”给能量以自由吧!“ 系列)。

但是Hinton很快就扬弃了图模型, 开始转到神经网络,他基于Hopfield网络的一个变形叫BAM模型, 引入了Boltzmann概率分布函数(参考”信息熵的由来“), 变成了概率模型。 并且提出了一系列的训练方法。 Hinton非常实干, 他搞东西,不局限在发表,他会发展很多技术去改进优化。 另外一个认知科学家家叫Smolensky的简化了Hinton的Boltzmann Machine模型, 生成了Restricted Boltzmann模型RBM模型。 刚好Hinton之前搞过基于Sigmoid的递归模型叫DBN Deep Belief Network, Hinton把这两个一嫁接, 搞错了DBM模型。 然后又利用了Pretrain训练, 就有了这个模型完整的学习, 他一个学生在微软实习的时候, 发现在语音识别方面效果很好。 Hinton就把基于这种复杂模型的学习命名为深度学习, 从此开启了深度学习的时代。

小结

通过对以Hopfield网络时代,神经网络学习效果不好的情况的分析, 找到了梯度消失的问题, 同时Hinton发现效果好的复杂模型, 定义了深度学习。 后续我们讲深度学习的初期发展。

本文分享自微信公众号 - AI2ML人工智能to机器学习(mloptimization),作者:史春奇

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hinton和Jordan理解的EM算法

    在“Hinton是如何理解PCA?”里面,我们体会到Hinton高人一等的见解。 Hinton, 这个深度学习的缔造者( 参考 攒说 Geoff Hinton ...

    史博
  • 攒说 Geoff Hinton

    大家都知道深度学习的鼻祖Geoff Hinton, 传说, 他安静的办公室, 经常会突然传出一句很大声的自言自语, 就是 我现在终于理解大脑怎么工作的啦(I u...

    史博
  • GMM的世界,你不懂?(下篇)

    在 GMM的世界,你不懂?(上篇) 里面简介了GMM的诞生的思绪历程, 当然是猜的啦。 这里稍微扩展点点, 说明下下GMM的广和美。

    史博
  • 9个你不了解的关于物联网的事实

    IoT设备已经在我们周围,但是与未来几年下一代数据网络引入的这个市场将会出现的爆炸性相比,这是没有什么的。 物联网正式是大交易。你知道这个故事:机器到机器网络将...

    首席架构师智库
  • python海量数据快速查询的技巧

    在实际工作中,经常会遇到查询的任务,比如根据某些rs号,检索dbsnp数据库,提取这些snp位点的信息,对于这样的任务,最基本的操作方法是将数据库的内容存为字典...

    生信修炼手册
  • SQL SERVER 2008/2012/2012R2/2014 设置开启远程连接(sa配置)

    本文方案适用于Microsoft Sql Server 2008/2012/2012 r2/2014版本,以下简称MSSQLSERVER。 MSSQL默认是不允...

    庞小明
  • HDOJ(HDU) 1977 Consecutive sum II(推导、、)

    Problem Description Consecutive sum come again. Are you ready? Go ~~ 1 = 0 +...

    谙忆
  • Base-x 编码的奥秘

    Base Encoding 是一组二进制转文本的编码模式(Encoding Scheme),常见的有 Base64、Base58、Base32、Base16。可...

    lambeta
  • 映墨科技推儿童VR,龙星人把快乐还给儿童

    VRPinea
  • 防止物联网项目误入歧途的5条建议

    5-Tips-to-Prevent-Your-IoT-Project-from-Taking-a-Wrong-Turn-1068x656-1.jpg

    用户4122690

扫码关注云+社区

领取腾讯云代金券