TensorFlow从1到2 | 前言

本篇是《TensorFlow从1到2》的前言,本主题将会涵盖现代卷积网络基础,及其TensorFlow实现。

我将延续先前的承诺:

它不会止于翻译和笔记、语言和工具,而是坚持通过启发性的方式,循序渐进构建系统化的理解,搭建一个坚实可靠的、连接“零基础”与“AI/机器学习/深度学习”领域之间的缓坡道。

废话少说,本文的剩余部分仍然提供干货。

学习资源

  • TensorFlow(模型库)(https://www.tensorflow.org/),Google
  • Deep Learning(开源中译版 中文纸质版)(https://exacity.github.io/deeplearningbook-chinese/),Ian Goodfellow,Yoshua Bengio and Aaron Courville
  • CS231n: Convolutional Neural Networks for Visual Recognition(英文讲义 Demos 项目报告 网易云课堂中文字幕)(http://cs231n.stanford.edu/),Fei-Fei Li
  • Deeplearning.ai:Deep Learning(网易云课堂中文字幕)(https://www.coursera.org/specializations/deep-learning),Andrew Ng
  • Neural Networks and Deep Learning(中译版)(http://neuralnetworksanddeeplearning.com/),Micheal Nielsen
  • TensorFlow实战(https://book.douban.com/subject/26974266/),黄文坚,唐源
  • 机器学习(https://book.douban.com/subject/26708119/),周志华
  • 人工智能(https://book.douban.com/subject/27015112/),李开复
  • 终极算法(https://book.douban.com/subject/26931905/),佩德罗·多明戈斯

注:按对主题的影响度排序,持续更新。

历史回顾:深度学习的三次浪潮

第一次浪潮

1943年

  • 第一个正式的神经元模型,Warren McCulloch,Walter Pitts,麦卡洛克-皮茨神经元做不了的事情就是学习;

20世纪50年代

  • 感知器,Frank Rosenblatt;

1969年

  • 线性模型无法解决XOR问题,Minsky,导致了神经网络热潮的第一次大衰退;

第二次浪潮

1980

  • 新认知机,Fukushima 受哺乳动物视觉系统的结构启发,引入了一个处理图片的强大模型架构,它后来成为了现代卷积网络的基础;

1986

  • 反向传播算法,David Rumelhart,Geoffrey E. Hinton,Ronald J. Williams;

1989

  • George Cybenko,证明神经网络的普遍性定理;

1995年

  • 卡内基-梅隆大学的研究员就已经成功训练出一台多层感知器来驾驶汽车,方法就是探测视频图像中的路面,然后适当转动方向盘,其完成了“横穿美国的实验”;

1998年

  • Gradient-based learning applied to document recognition,Yann LeCun and Yoshua Bengio,现代卷积网络开创性论文;
  • LeNet5。
  • 图模型,Jordan,在很多重要任务上实现了很好的效果,导致神经网络热潮的第二次衰退;

1999年

  • 核方法,在很多重要任务上实现了很好的效果,导致神经网络热潮的第二次衰退;

2001年

  • Gradient flow in recurrent nets: the difficulty of learning long-term dependencies,Yoshua Bengio,讨论了“消失的梯度问题”;

2004-2005

  • DARPA大挑战中,无人驾驶汽车才进入公众视野;

第三次浪潮

2006年

  • 《一种深度置信网络的快速学习算法》, Hinton;
  • Yann Lecun,阐述深度学习如何能跟当年流行的图模型(比如条件随机场)等价;

2010年

  • Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition,George Dahl,Dong Yu,Li Deng,Alex Acero;

2012年

  • Imagenet classification with deep convolutional neural networks,Alex Krizhevsky,Ilya Sutskever,Geoff Hinton;
  • ImageNet冠军,AlexNet(KSH) 8层;
    • 冠军获得者:Geoff Hinton的博士生Alex Krizhevsky和Ilya Sutskever,将错误率从26.%降到15.3%;
    • Alex和Ilya竞赛用的正是Yann Lecun发明的卷积神经网络,但结果刚出来时,Yann和他的NYU实验室成员甚至没法重复Geoff Hinton的结果;
    • Google团队(包含Andrew Ng和Jeff Dean)做了非公开测试,识别精度比Geoff Hinton差了很多;
    • 工业界对深度学习的追捧传递回学术界发生在一年以后,原因是除了顶级教授因为私人关系能知道工业界最前沿进展,大部分学术界教授并没有公开渠道及时获取信息;
    • 在NIPS(机器学习顶级年度会议),Google竞价超过微软等公司,收购了Alex、Ilya和Geoff刚注册几个月的公司,还花了5000万美元买了三个人的部分时间;
    • Facebook挖了Yann Lecun,他在纽约领导成立了Facebook AI lab;
  • James Bergstra,Yoshua Bengio,对网格搜索超参数进行了综述;

2014年

  • 5月16日,Andrew Ng离开Google加入Baidu;
  • On the number of response regions of deep feed forward networks with piece-wise linear activations,Yoshua Bengio,对于某些问题和网络结构给出了“深度网络在本质上比浅层网络更加强大”的证明;
  • VGG 19层,ImageNet 2014冠军;
  • GoogLeNet,22层,ImageNet 2014冠军;

2015年

  • ResNet,152层,ImageNet 2015冠军;

2016年

  • AlphaGo战胜李世石,人工智能元年开启;

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-09-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏有趣的Python

TensorFlow应用实战-2- 人工智能&深度学习介绍

2- 人工智能&深度学习介绍 人工智能相关的电影 钢铁侠 终结者 机械姬 我,机器人 ? mark 人工智能之父麦卡锡给出的定义 构建智能机器,特别是智能计算机...

3946
来自专栏机器之心

深度 | 谷歌和OpenAI新研究:如何使用达尔文进化论辅助设计人工智能算法?

选自QZ 作者:Dave Gershgorn 机器之心编译 参与:吴攀、黄小天、李亚洲 现代机器智能建立在模仿自然的基础之上——这一领域的主要目的是在计算机中复...

35314
来自专栏人工智能头条

专家观点碰撞:深度学习能否取代其他机器学习算法

1354
来自专栏人工智能头条

成为数据科学家,需具备这些技能

1302
来自专栏云时之间

深度学习与神经网络:浅谈人工神经网络跌宕起伏七十年

人工神经网络在过去的七十年的时间里数次起起伏伏,几十年间人们一直在追求机器的智能化,在近几年的研究中,随着数据量的增加和深度学习神经网络算法的研究和进步,表明了...

3355
来自专栏AI科技评论

微软亚洲研究院刘铁岩博士:迎接深度学习的“大”挑战

AI科技评论按:本文根据刘铁岩博士在中国人工智能学会AIDL第二期人工智能前沿讲习班*机器学习前沿所作报告《迎接深度学习的“大”挑战》编辑整理而来,发文前已得到...

35210
来自专栏数据科学与人工智能

【陆勤推荐】想入门机器学习、数据挖掘,我该怎么做?

想入门机器学习、数据挖掘,我该怎么做?我自己是本科数学出身,本科毕业的时候,我并不知道什么是机器学习,也没有写过大型程序,更不要说去搞一个机器学习的算法和实践了...

1885
来自专栏新智元

【DeepMind重大突破】DNN具有人类行为,认知心理学破解黑箱

【新智元导读】DeepMind 的最新论文称自己“首次”将认知心理学方法引入了对深度神经网络黑箱的理解研究中,并用认知心理学的方法发现了深度神经网络存有和人类儿...

3215
来自专栏AI科技评论

深度 | Pedro Domingos解析机器学习五大流派中的算法精髓

Pedro Domingos是华盛顿大学计算机科学与工程学教授,也是国际机器学习协会的联合创始人之一。他曾在IST Lisbon获得电子工程和计算科学的硕士学位...

3425
来自专栏AI科技评论

五大顶尖研究院的116篇ICLR 2018录用论文,七大趋势全解读

AI 科技评论按:时间过得好快,Yann LeCun 仿佛刚刚在 Twitter 上感慨 ICLR 2018 的参会人数比 2017 年再次翻倍,而现在 ICL...

876

扫描关注云+社区