机器学习两次浪潮|机器学习

第一次浪潮:浅层学习

20世纪80年代末期,用于人工神经网络的反向传播算法(也叫Back Propagation算法或者BP算法)的发明,给机器学习带来了希望,掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现,利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律,从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统,在很多方面显出优越性。

这个时候的人工神经网络,虽也被称作多层感知机(Multi-layerPerceptron),但实际是种只含有一层隐层节点的浅层模型。20世纪90年代,各种各样的浅层机器学习模型相继被提出,例如支撑向量机(SVM,Support Vector Machines)、Boosting、最大熵方法(如LR,Logistic Regression)等。这些模型的结构基本上可以看成带有一层隐层节点(如SVM、Boosting),或没有隐层节点(如LR)。这些模型无论是在理论分析还是应用中都获得了巨大的成功。相比之下,由于理论分析的难度大,训练方法又需要很多经验和技巧,这个时期浅层人工神经网络反而相对沉寂。

第二次浪潮:深度学习

2006年,加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton和他的学生Ruslan Salakhutdinov在《科学》上发表了一篇文章,开启了深度学习在学术界和工业界的浪潮。

这篇文章有两个主要观点:

1. 很多隐层的人工神经网络具有优异的特征学习能力,学习得到 的特征对数据有更本质的刻划,从而有利于可视化或分类;

2. 深度神经网络在训练上的难度,可以通过“逐层初始化”(layer-wisepre-training)来有效克服,

3. 在这篇文章中,逐层初始化是通过无监督学习实现的。

自2006年以来,深度学习在学术界持续升温。斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇。2010年,美国国防部DARPA计划首次资助深度学习项目,参与方有斯坦福大学、纽约大学和NEC美国研究院。支持深度学习的一个重要依据,就是脑神经系统的确具有丰富的层次结构。一个最著名的例子就是HubelWiesel模型,由于揭示了视觉神经的机理而曾获得诺贝尔医学与生理学奖

除了仿生学的角度,目前深度学习的理论研究还基本处于起步阶段,但在应用领域已经显现巨大能量。2011年以来,微软研究院和Google的语音识别研究人员先后采用DNN技术降低语音识别错误率20%~30%,是语音识别领域十多年来最大的突破性进展。2012年DNN技术在图像识别领域取得惊人的效果,在ImageNet评测上将错误率从26%降低到15%。

在这一年,DNN还被应用于制药公司的Druge Activity预测问题,并获得世界最好成绩。

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2016-08-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏前沿技墅

卷积网络虽动人,胶囊网络更传“神”

2274
来自专栏AI科技评论

独家 | EMNLP 2017 录用论文作者解读:深度残差网络下的弱监督关系抽取

AI 科技评论按:在今年的 EMNLP 2017 上,台湾大学黄意尧与加州圣塔芭芭拉大学 (UCSB)William Wang 教授有一篇合作论文被录用。受AI...

3898
来自专栏机器之心

教程 | 用生成对抗网络给雪人上色,探索人工智能时代的美学

4357
来自专栏大数据挖掘DT机器学习

机器学习与数据挖掘的学习路线图

CSDN:白马负金羁 说起机器学习和数据挖掘,当然两者并不完全等同。如果想简单的理清二者的关系,不妨这样来理解,机器学习应用在数据分析领域 = 数据挖掘。同理...

3074
来自专栏AI科技大本营的专栏

被捧上天的深度学习,遇到这些问题根本干不过简单模型

今天我们来唱唱反调,推荐一篇Hacker News和Reddit的双料热文《何时该不用深度学习》。 作者 | Pablo Cordero 翻译 | reason...

3579
来自专栏腾讯AI实验室的专栏

腾讯AI Lab多篇论文入选CVPR、ACL及ICML等顶级会议

感谢您阅读腾讯AI Lab首篇文章,我们将在文章第一部分介绍即将开幕的CVPR、ACL和ICML等顶级AI学术会议,及它们收录的腾讯AI Lab多篇论文,并选取...

3.6K3
来自专栏量子位

大连理工大学在CVPR18大规模精细粒度物种识别竞赛中获得冠军

近日,引人瞩目的国际计算机视觉与模式识别大会CVPR 2018在美国盐湖城落下帷幕。在为期5天的会议中,除了有精彩的口头报告、墙报张贴以及企业展示之外,还有对极...

1222
来自专栏人工智能头条

近200篇机器学习/深度学习资料分享(含各种文档,视频,源码等)

2453
来自专栏CreateAMind

智能的几点随想

873
来自专栏量化投资与机器学习

【必看】机器学习应用量化投资必须要踩的那些坑(系列55)

2745

扫码关注云+社区

领取腾讯云代金券