TensorFlow从1到2 | 前言

本篇是《TensorFlow从1到2》的前言,本主题将会涵盖现代卷积网络基础,及其TensorFlow实现。

我将延续先前的承诺:

它不会止于翻译和笔记、语言和工具,而是坚持通过启发性的方式,循序渐进构建系统化的理解,搭建一个坚实可靠的、连接“零基础”与“AI/机器学习/深度学习”领域之间的缓坡道。

废话少说,本文的剩余部分仍然提供干货。

学习资源

  • TensorFlow(模型库)(https://www.tensorflow.org/),Google
  • Deep Learning(开源中译版 中文纸质版)(https://exacity.github.io/deeplearningbook-chinese/),Ian Goodfellow,Yoshua Bengio and Aaron Courville
  • CS231n: Convolutional Neural Networks for Visual Recognition(英文讲义 Demos 项目报告 网易云课堂中文字幕)(http://cs231n.stanford.edu/),Fei-Fei Li
  • Deeplearning.ai:Deep Learning(网易云课堂中文字幕)(https://www.coursera.org/specializations/deep-learning),Andrew Ng
  • Neural Networks and Deep Learning(中译版)(http://neuralnetworksanddeeplearning.com/),Micheal Nielsen
  • TensorFlow实战(https://book.douban.com/subject/26974266/),黄文坚,唐源
  • 机器学习(https://book.douban.com/subject/26708119/),周志华
  • 人工智能(https://book.douban.com/subject/27015112/),李开复
  • 终极算法(https://book.douban.com/subject/26931905/),佩德罗·多明戈斯

注:按对主题的影响度排序,持续更新。

历史回顾:深度学习的三次浪潮

第一次浪潮

1943年

  • 第一个正式的神经元模型,Warren McCulloch,Walter Pitts,麦卡洛克-皮茨神经元做不了的事情就是学习;

20世纪50年代

  • 感知器,Frank Rosenblatt;

1969年

  • 线性模型无法解决XOR问题,Minsky,导致了神经网络热潮的第一次大衰退;

第二次浪潮

1980

  • 新认知机,Fukushima 受哺乳动物视觉系统的结构启发,引入了一个处理图片的强大模型架构,它后来成为了现代卷积网络的基础;

1986

  • 反向传播算法,David Rumelhart,Geoffrey E. Hinton,Ronald J. Williams;

1989

  • George Cybenko,证明神经网络的普遍性定理;

1995年

  • 卡内基-梅隆大学的研究员就已经成功训练出一台多层感知器来驾驶汽车,方法就是探测视频图像中的路面,然后适当转动方向盘,其完成了“横穿美国的实验”;

1998年

  • Gradient-based learning applied to document recognition,Yann LeCun and Yoshua Bengio,现代卷积网络开创性论文;
  • LeNet5。
  • 图模型,Jordan,在很多重要任务上实现了很好的效果,导致神经网络热潮的第二次衰退;

1999年

  • 核方法,在很多重要任务上实现了很好的效果,导致神经网络热潮的第二次衰退;

2001年

  • Gradient flow in recurrent nets: the difficulty of learning long-term dependencies,Yoshua Bengio,讨论了“消失的梯度问题”;

2004-2005

  • DARPA大挑战中,无人驾驶汽车才进入公众视野;

第三次浪潮

2006年

  • 《一种深度置信网络的快速学习算法》, Hinton;
  • Yann Lecun,阐述深度学习如何能跟当年流行的图模型(比如条件随机场)等价;

2010年

  • Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition,George Dahl,Dong Yu,Li Deng,Alex Acero;

2012年

  • Imagenet classification with deep convolutional neural networks,Alex Krizhevsky,Ilya Sutskever,Geoff Hinton;
  • ImageNet冠军,AlexNet(KSH) 8层;
    • 冠军获得者:Geoff Hinton的博士生Alex Krizhevsky和Ilya Sutskever,将错误率从26.%降到15.3%;
    • Alex和Ilya竞赛用的正是Yann Lecun发明的卷积神经网络,但结果刚出来时,Yann和他的NYU实验室成员甚至没法重复Geoff Hinton的结果;
    • Google团队(包含Andrew Ng和Jeff Dean)做了非公开测试,识别精度比Geoff Hinton差了很多;
    • 工业界对深度学习的追捧传递回学术界发生在一年以后,原因是除了顶级教授因为私人关系能知道工业界最前沿进展,大部分学术界教授并没有公开渠道及时获取信息;
    • 在NIPS(机器学习顶级年度会议),Google竞价超过微软等公司,收购了Alex、Ilya和Geoff刚注册几个月的公司,还花了5000万美元买了三个人的部分时间;
    • Facebook挖了Yann Lecun,他在纽约领导成立了Facebook AI lab;
  • James Bergstra,Yoshua Bengio,对网格搜索超参数进行了综述;

2014年

  • 5月16日,Andrew Ng离开Google加入Baidu;
  • On the number of response regions of deep feed forward networks with piece-wise linear activations,Yoshua Bengio,对于某些问题和网络结构给出了“深度网络在本质上比浅层网络更加强大”的证明;
  • VGG 19层,ImageNet 2014冠军;
  • GoogLeNet,22层,ImageNet 2014冠军;

2015年

  • ResNet,152层,ImageNet 2015冠军;

2016年

  • AlphaGo战胜李世石,人工智能元年开启;

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-09-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据派THU

一文读懂深度学习模型近年来重要进展(附梳理图)

2336
来自专栏人工智能头条

深度学习在自然语言处理的应用

1603
来自专栏AI2ML人工智能to机器学习

深度神经网络机器翻译

2013年,在Brandeis大学聆听薛念文老师(计算语言学领域引用率最高的华人之一, 下图居中, 薛老师右边是好友柏晓鹏和李斌)讨论小组研究语言模型的时候, ...

833
来自专栏CSDN技术头条

深度学习在自然语言处理的应用

【编者按】Jonathan Mugan写了两篇博文来解释计算机如何理解我们在社交媒体平台上使用的语言,以及能理解到何种程度。本文是其中的第二篇。 在深度学习出现...

2029
来自专栏专知

【NAACL2018最佳论文】忘掉Word2vec吧!艾伦人工智能研究院新词向量学习方法,一文了解各大奖项论文

【导读】当地时间6月1日到6月6日,第十六届自然语言处理顶级会议NAACL - HLT(Annual Conference of the North Ameri...

983
来自专栏机器之心

学界 | 从感知机到GAN,机器学习简史梳理

选自chatbotnewsdaily 机器之心编译 参与:蒋思源、李亚洲 机器学习是人工智能的一个重要分支,也是如今学界、产业界的热门研究。公司、高校倾倒了许多...

3129
来自专栏机器之心

业界 | 23篇论文入选CVPR2017, 商汤科技精选论文解读

机器之心报道 机器之心编辑部 
2017 年 7 月 11 日,专注于计算机视觉和深度学习的国内人工智能企业商汤科技完成 4.1 亿美元融资的消息引爆业内。本次...

3006
来自专栏AI2ML人工智能to机器学习

深度学习名校课程大全

在吴恩达的最新《深度学习》课程里面, 鼻祖辛顿(参考“攒说 Geoff Hinton”)反复强调这是一场革命,或许不如第二次工业革命的影响力, 但是类似规模还是...

1003
来自专栏TensorFlow从0到N

TensorFlow从1到2 - 0 - 前言

我是黑猿大叔,转战AI的大叔程序猿,你好。 ? 本篇是《TensorFlow从1到2》的前言,本主题将会涵盖现代卷积网络基础,及其TensorFlow实...

3556
来自专栏新智元

【Bengio领衔】DeepMind、谷歌大脑核心研究员2017深度学习最新报告(PPT)

【新智元导读】 深度学习领军人物 Yoshua Bengio 主导的蒙特利尔大学深度学习暑期学校目前“深度学习”部分的报告已经全部结束。 本年度作报告的学术和行...

3495

扫码关注云+社区