专栏首页悦思悦读深度学习的兴起:从NN到DNN | 小白深度学习入门

深度学习的兴起:从NN到DNN | 小白深度学习入门

神经网络的历史沿革

缘起

1943年,神经生理学家和神经元解剖学家 Warren McCulloch 和数学家 Walter Pitts 提出了神经元的数学描述和结构,并且证明了只要有足够的简单神经元,在它们互相连接并同步运行的情况下,可以模拟任何计算函数。

这样开创性的工作被认为是 NN 的起点。

几度兴衰

1958年,计算机学家 Frank Rosenblatt 提出了一种具有三级结构的 NN,称为“感知机”(Perceptron)。它实际上是一种二元线性分类器,可以被看作一种单层 NN(参见下图)。

Rosenblatt 还给出了相应的感知机学习算法。

尽管结构简单,感知机能够学习并解决相当复杂的问题,在60年代掀起了 NN 研究的第一次热潮。很多人都认为只要使用成千上万的神经元,他们就能解决一切问题。

这股热潮持续了10年,终于因为感知机的作用终归有限(比如它不能处理线性不可分问题),在实践中无法产生实际的价值,而导致了 NN 发展的第一次低潮期。

直到80年代,NN 的研究才开始复苏。

1986年,David Rumelhart、Geoffrey Hinton 和 Ronald Williams 将反向传播算法用于多层 NN 的训练,带来了 NN 的第二春。

然而,训练 NN,最开始都是随机初始化权值。当 NN 的层数稍多之后,随机的初始值很可能导致反复迭代仍不收敛——根本训练不出来可用的 NN。

进一步的研究和实际应用都受阻。

基于统计的学习模型有严格的理论基础,可以在数学上严格地被证明为是凸优化问题。特别是在 SVM/SVR 出现后,用统计学习模型执行复杂任务也能得到不错的结果。

而 NN 缺少数学理论支持——它的优化过程不是凸优化,根本不能从数学原理上证明最优解的存在;就算训练出了结果,也无法解释自己为什么有效;在实际运用的效果又不够好。

如此种种,NN 研究进入第二次低谷。此后十几年的时间里,大多数研究人员都放弃了 NN。

从 NN 到 DNN

Hinton 却矢志不渝地坚持着对 NN 的研究。终于在2006年迎来了划时代的成果。这一年,Hinton 发表了经典论文“Reducing the Dimensionality of Data with Neural Networks”。

这篇论文提出了预训练(Pre-training)的方法(可以简单地想象成是“一层一层”地训练),分层初始化,使得深层神经网络(Deep Neural Network,DNN)的训练变得可能——训练 NN 不必再局限在很少的一两层,四五层甚至八九层都成为了可能。

由此,NN 重新回到大众的视线中,从此 NN 进入了 DNN 时代。

深度神经网络(Deep Neural Network, DNN)

DNN就是深度的NN,也就是层数比较多的NN。

在早期,超过三层的NN就可以算DNN了,八九层的NN就是可以投入实际应用了。不过,很快,DNN的层数就发展到了一百多层。

深度学习(Deep Learning)

我们说的深度学习一词,其实在30多年前就已经被提出来了。Rina Dechter 在1986年的论文中就提到了“ Shallow Learning”和“Deep Learning”。不过直到2000年,这个说法才被引入到 NN 领域。

现在我们说的深度学习指利用多层串联的非线性处理单元,进行特征提取和转化的机器学习算法。其结构中的不同层级对应于不同程度的数据抽象。

DNN 就是一种典型的深度学习模型。其他的,像 CNN、RNN、LSTM 等,都属于这一领域。

如今,深度学习被看作是通向人工智能的重要一步,也是人工智能实现技术中的热门。

本文分享自微信公众号 - 悦思悦读(yuesiyuedu),作者:YJL

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 神经网络的构成、训练和算法 | 小白深度学习入门

    人工神经网络(Artificial Neural Network,ANN),简称神经网络(Neural Network,NN),是一种模仿生物神经网络的结构和功...

    叶锦鲤
  • 模型、算法和训练的关系,及迁移学习 | AI基础

    模型是什么?通常形容AI语境下的模型一词时,比较多的情况会类比数学领域的函数。不过个人感觉,那样比较容易跑偏,不如我们先姑且将它理解成是“一个程序”吧。

    叶锦鲤
  • 如何以Python为工具走入数据科学之门

    本次分享第【1】部分:什么是数据科学。 本次分享第【2】部分:如何从小白成长为数据科学家。 分享主题:Data Science学习分享会 分享时间:2016年4...

    叶锦鲤
  • 快手活跃用户预测_哈工大团队解决方案

    特别特征:因为注册必登陆,行为能体现用户的某种本质,所以对注册当天提取了特征,注册本身是一种异常,所以去除注册当天记录后再提取特征

    机器学习AI算法工程
  • Science重磅!用光速实现深度学习,跟GPU说再见

    深度学习对算力的需求没有止境,但受制于能耗和物理极限,基于硅基的电子元件虽然现在还能支撑,但远处那堵几乎不可逾越的高墙已然显现。

    新智元
  • HDFS ZKFC实现NameNode自动切换原理

    官方文档: https://issues.apache.org/jira/secure/attachment/12521279/zkfc-design.pd...

    程裕强
  • 聊聊我在这家公司设计的SSO

    是的,没错,小明接到这个需求以后,整体思路也是按着SSO设想的,但是细想之后,发现不能完全照搬,要考虑项目的实际情况:比如已知的几个子系统是之前的已经开发好的,...

    程序员小明
  • Python情感分析:鹿晗的粉丝们究竟原谅他了吗?

    国庆长假的最后一天,鹿晗在微博上公开宣布和关晓彤的恋情。消息来得太突然,不仅粉丝圈里炸了,顺带连微博服务器也给炸了。在此心疼新浪运维工程师一秒,放个假都不能省心...

    Crossin先生
  • DOM的事件模拟

    只有根据DOM2级事件实现这些事件的浏览器才返回true,以非标准方式支持这些事件的浏览器会返回false;

    meteoric
  • 从头搭建一个HTTPS网站

    “ 在这个信息爆炸的时代,信息安全更加重要,也更加受到重视。比如说,如果你想搭建一个供微信小程序服务的后台,那么接口就必须是https的,今天就一起来搭建一个h...

    周萝卜

扫码关注云+社区

领取腾讯云代金券