专栏首页TensorFlow从0到NTensorFlow从1到2 - 0 - 前言

TensorFlow从1到2 - 0 - 前言

我是黑猿大叔,转战AI的大叔程序猿,你好。

黑猿大叔

本篇是《TensorFlow从1到2》的前言,本主题将会涵盖现代卷积网络基础,及其TensorFlow实现。

我将延续先前的承诺:

它不会止于翻译和笔记、语言和工具,而是坚持通过启发性的方式,循序渐进构建系统化的理解,搭建一个坚实可靠的、连接“零基础”与“AI/机器学习/深度学习”领域之间的缓坡道。

废话少说,本文的剩余部分仍然提供干货。

学习资源

  • TensorFlow(模型库),Google
  • Deep Learning(开源中译版 中文纸质版),Ian Goodfellow,Yoshua Bengio and Aaron Courville
  • CS231n: Convolutional Neural Networks for Visual Recognition(讲义2016 讲义2017 Demos 项目报告 网易云课堂中文字幕),Fei-Fei Li
  • Deeplearning.ai:Deep Learning(网易云课堂中文字幕),Andrew Ng
  • Neural Networks and Deep Learning(中译版),Micheal Nielsen
  • TensorFlow实战,黄文坚,唐源
  • 机器学习,周志华
  • 人工智能,李开复
  • 终极算法,佩德罗·多明戈斯

注:按对主题的影响度排序,持续更新。

历史回顾:深度学习的三次浪潮

第一次浪潮

1943年

  • 第一个正式的神经元模型,Warren McCulloch,Walter Pitts,麦卡洛克-皮茨神经元做不了的事情就是学习;

20世纪50年代

  • 感知器,Frank Rosenblatt;

1959年

  • Receptive Fields of Single Neurones in the Cat's Striate Cortex,Hubel,Wiesel;

1969年

  • 线性模型无法解决XOR问题,Minsky,导致了神经网络热潮的第一次大衰退;

第二次浪潮

1980

  • 新认知机,Fukushima 受哺乳动物视觉系统的结构启发,引入了一个处理图片的强大模型架构,它后来成为了现代卷积网络的基础;

1986

  • 反向传播算法,David Rumelhart,Geoffrey E. Hinton,Ronald J. Williams;

1989

  • George Cybenko,证明神经网络的普遍性定理;

1995年

  • 卡内基-梅隆大学的研究员就已经成功训练出一台多层感知器来驾驶汽车,方法就是探测视频图像中的路面,然后适当转动方向盘,其完成了“横穿美国的实验”;

1998年

  • Gradient-based learning applied to document recognition,Yann LeCun and Yoshua Bengio,现代卷积网络开创性论文,提出第一个正式的卷积神经网络架构LeNet5;
  • 图模型,Jordan,在很多重要任务上实现了很好的效果,导致神经网络热潮的第二次衰退;

1999年

  • 核方法,在很多重要任务上实现了很好的效果,导致神经网络热潮的第二次衰退;

2001年

  • Gradient flow in recurrent nets: the difficulty of learning long-term dependencies,Yoshua Bengio,讨论了“消失的梯度问题”;

2004-2005

  • DARPA大挑战中,无人驾驶汽车才进入公众视野;

第三次浪潮

2006年

  • 《Reducing the dimensionality of data with neural networks》,Hinton;
  • 《基于深度置信网络的快速学习方法》, Hinton;
  • Yann Lecun,阐述深度学习如何能跟当年流行的图模型(比如条件随机场)等价;

2010年

  • Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition,George Dahl,Dong Yu,Li Deng,Alex Acero;

2012年

  • Imagenet classification with deep convolutional neural networks,Alex Krizhevsky,Ilya Sutskever,Geoff Hinton;
  • ImageNet冠军,AlexNet(KSH) 8层;
    • 冠军获得者:Geoff Hinton的博士生Alex Krizhevsky和Ilya Sutskever,将错误率从26.%降到15.3%;
    • Alex和Ilya竞赛用的正是Yann Lecun发明的卷积神经网络,但结果刚出来时,Yann和他的NYU实验室成员甚至没法重复Geoff Hinton的结果;
    • Google团队(包含Andrew Ng和Jeff Dean)做了非公开测试,识别精度比Geoff Hinton差了很多;
    • 工业界对深度学习的追捧传递回学术界发生在一年以后,原因是除了顶级教授因为私人关系能知道工业界最前沿进展,大部分学术界教授并没有公开渠道及时获取信息;
    • 在NIPS(机器学习顶级年度会议),Google竞价超过微软等公司,收购了Alex、Ilya和Geoff刚注册几个月的公司,还花了5000万美元买了三个人的部分时间;
    • Facebook挖了Yann Lecun,他在纽约领导成立了Facebook AI lab;
  • James Bergstra,Yoshua Bengio,对网格搜索超参数进行了综述;

2014年

  • 5月16日,Andrew Ng离开Google加入Baidu;
  • On the number of response regions of deep feed forward networks with piece-wise linear activations,Yoshua Bengio,对于某些问题和网络结构给出了“深度网络在本质上比浅层网络更加强大”的证明;
  • VGG 19层,ImageNet 2014亚军;
  • GoogLeNet,22层,ImageNet 2014冠军;

2015年

  • ResNet,152层,Microsoft,ImageNet 2015冠军;

2016年

  • AlphaGo战胜李世石,人工智能元年开启;


本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 讨厌算法的程序员 3 - 算法分析基础

    ? 时间资源 上一篇,我们知道了如何用循环不变式来证明算法的正确性,本篇来看另一个重要方面:算法分析。分析算法的目的,是预测算法所需要的资源。资源不仅是指内存...

    黑猿大叔
  • 讨厌算法的程序员 0 - 前言

    这个主题是写给自己的,假如你刚好也和我一样讨厌算法,那也是写给你的。我的主要参考书目是《算法导论》第3版中文版,自己先琢磨明白一个算法,然后再按我的理解写出来...

    黑猿大叔
  • TensorFlow从1到2 - 3 - 深度学习革命的开端:卷积神经网络

    关于全连接神经网络(Full Connected Neural Network,FC)的讨论已经说的不少了,本篇将要介绍的是,从2006年至今的神经网络第...

    黑猿大叔
  • AI重回16世纪变身哥白尼!重新推导“日心说”,还将助力解决量子力学矛盾

    天文学家花了几个世纪才弄明白的规律,如果从头交给机器学习算法去领悟,能重现被发现吗?

    大数据文摘
  • 吴恩达机器学习笔记 —— 9 神经网络学习

    在传统的线性回归或者逻辑回归中,如果特征很多,想要手动组合很多有效的特征是不现实的;而且处理这么大的特征数据量,计算上也很复杂。

    用户1154259
  • 推荐一个神经网络原理可视化的平台

    神经网络具有很强的学习能力和自适应自组织能力,而且随着隐含层的数量增大学习能力也将变得更强,因此目前很多场景都使用神经网络,比如深度学习,我们更熟悉的就是阿法狗...

    double
  • Recurrent Neural Networks (RNNs)

    许多应用涉及时间依赖,或基于时间依赖。这表示我们当前输出不仅仅取决于当前输入,还依赖于过去的输入。 RNN存在一个关键缺陷,因为几乎不可能捕获超过8或10步的...

    小飞侠xp
  • 吴恩达course1-神经网络与深度学习

    以预测房价来举例,在一个x轴表示房子面积,y轴表示房价的坐标图中,标示出6所房屋的信息(如图红×所示),然后通过线性拟合的方式作出一条斜线,因为房价不可能...

    caoqi95
  • Torch7模型训练

    Torch7搭建卷积神经网络详细教程已经详细的介绍啦Module模块,这里再次基础上再给出一些上Container、 Transfer Functions La...

    昱良
  • Coursera吴恩达《神经网络与深度学习》课程笔记(5)-- 深层神经网络

    上节课我们主要介绍了浅层神经网络。首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层。然后以简单的2 layer NN为例,详细推导了其正向传播过程和反向传...

    红色石头

扫码关注云+社区

领取腾讯云代金券