TensorFlow从1到2 | 前言

本篇是《TensorFlow从1到2》的前言,本主题将会涵盖现代卷积网络基础,及其TensorFlow实现。

我将延续先前的承诺:

它不会止于翻译和笔记、语言和工具,而是坚持通过启发性的方式,循序渐进构建系统化的理解,搭建一个坚实可靠的、连接“零基础”与“AI/机器学习/深度学习”领域之间的缓坡道。

废话少说,本文的剩余部分仍然提供干货。

学习资源

  • TensorFlow(模型库)(https://www.tensorflow.org/),Google
  • Deep Learning(开源中译版 中文纸质版)(https://exacity.github.io/deeplearningbook-chinese/),Ian Goodfellow,Yoshua Bengio and Aaron Courville
  • CS231n: Convolutional Neural Networks for Visual Recognition(英文讲义 Demos 项目报告 网易云课堂中文字幕)(http://cs231n.stanford.edu/),Fei-Fei Li
  • Deeplearning.ai:Deep Learning(网易云课堂中文字幕)(https://www.coursera.org/specializations/deep-learning),Andrew Ng
  • Neural Networks and Deep Learning(中译版)(http://neuralnetworksanddeeplearning.com/),Micheal Nielsen
  • TensorFlow实战(https://book.douban.com/subject/26974266/),黄文坚,唐源
  • 机器学习(https://book.douban.com/subject/26708119/),周志华
  • 人工智能(https://book.douban.com/subject/27015112/),李开复
  • 终极算法(https://book.douban.com/subject/26931905/),佩德罗·多明戈斯

注:按对主题的影响度排序,持续更新。

历史回顾:深度学习的三次浪潮

第一次浪潮

1943年

  • 第一个正式的神经元模型,Warren McCulloch,Walter Pitts,麦卡洛克-皮茨神经元做不了的事情就是学习;

20世纪50年代

  • 感知器,Frank Rosenblatt;

1969年

  • 线性模型无法解决XOR问题,Minsky,导致了神经网络热潮的第一次大衰退;

第二次浪潮

1980

  • 新认知机,Fukushima 受哺乳动物视觉系统的结构启发,引入了一个处理图片的强大模型架构,它后来成为了现代卷积网络的基础;

1986

  • 反向传播算法,David Rumelhart,Geoffrey E. Hinton,Ronald J. Williams;

1989

  • George Cybenko,证明神经网络的普遍性定理;

1995年

  • 卡内基-梅隆大学的研究员就已经成功训练出一台多层感知器来驾驶汽车,方法就是探测视频图像中的路面,然后适当转动方向盘,其完成了“横穿美国的实验”;

1998年

  • Gradient-based learning applied to document recognition,Yann LeCun and Yoshua Bengio,现代卷积网络开创性论文;
  • LeNet5。
  • 图模型,Jordan,在很多重要任务上实现了很好的效果,导致神经网络热潮的第二次衰退;

1999年

  • 核方法,在很多重要任务上实现了很好的效果,导致神经网络热潮的第二次衰退;

2001年

  • Gradient flow in recurrent nets: the difficulty of learning long-term dependencies,Yoshua Bengio,讨论了“消失的梯度问题”;

2004-2005

  • DARPA大挑战中,无人驾驶汽车才进入公众视野;

第三次浪潮

2006年

  • 《一种深度置信网络的快速学习算法》, Hinton;
  • Yann Lecun,阐述深度学习如何能跟当年流行的图模型(比如条件随机场)等价;

2010年

  • Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition,George Dahl,Dong Yu,Li Deng,Alex Acero;

2012年

  • Imagenet classification with deep convolutional neural networks,Alex Krizhevsky,Ilya Sutskever,Geoff Hinton;
  • ImageNet冠军,AlexNet(KSH) 8层;
    • 冠军获得者:Geoff Hinton的博士生Alex Krizhevsky和Ilya Sutskever,将错误率从26.%降到15.3%;
    • Alex和Ilya竞赛用的正是Yann Lecun发明的卷积神经网络,但结果刚出来时,Yann和他的NYU实验室成员甚至没法重复Geoff Hinton的结果;
    • Google团队(包含Andrew Ng和Jeff Dean)做了非公开测试,识别精度比Geoff Hinton差了很多;
    • 工业界对深度学习的追捧传递回学术界发生在一年以后,原因是除了顶级教授因为私人关系能知道工业界最前沿进展,大部分学术界教授并没有公开渠道及时获取信息;
    • 在NIPS(机器学习顶级年度会议),Google竞价超过微软等公司,收购了Alex、Ilya和Geoff刚注册几个月的公司,还花了5000万美元买了三个人的部分时间;
    • Facebook挖了Yann Lecun,他在纽约领导成立了Facebook AI lab;
  • James Bergstra,Yoshua Bengio,对网格搜索超参数进行了综述;

2014年

  • 5月16日,Andrew Ng离开Google加入Baidu;
  • On the number of response regions of deep feed forward networks with piece-wise linear activations,Yoshua Bengio,对于某些问题和网络结构给出了“深度网络在本质上比浅层网络更加强大”的证明;
  • VGG 19层,ImageNet 2014冠军;
  • GoogLeNet,22层,ImageNet 2014冠军;

2015年

  • ResNet,152层,ImageNet 2015冠军;

2016年

  • AlphaGo战胜李世石,人工智能元年开启;

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-09-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

文字描述生成视频的开源项目

Tensorflow implementation for the paper Attentive Semantic Video Generation usin...

1092
来自专栏菩提树下的杨过

winform中linkLabel的用法(示例)

private void Form1_Load(object sender, EventArgs e)         {             this...

1915
来自专栏DT乱“码”

简单的考勤系统

连接数据库类 package com.lianrui.it; import java.sql.Connection; import java.sql.Driv...

3459
来自专栏听雨堂

想修改CSS

      下载了一个“通用”的CSS文件,本来想偷懒的,结果发现有问题,就是它用的颜色是变量定义的,无法识别。我又找不到在哪里可以定义。 BODY{     ...

20310
来自专栏跟着阿笨一起玩NET

C# 通过HttpWebRequest在后台对WebService进行调用

http://www.cnblogs.com/macroxu-1982/archive/2009/12/23/1630415.html

2732
来自专栏跟着阿笨一起玩NET

[C#]工具类—FTP上传下载

  不错的文章:http://www.cnblogs.com/greatverve/archive/2012/03/03/csharp-ftp.html

1131
来自专栏闻道于事

商城项目整理(三)JDBC增删改查

商品表的增加,修改,删除,订单表的增加,确认,用户表的查看,日志表的增加,查看 商品表建表语句: 1 create table TEST.GOODS_TABL...

5425
来自专栏c#开发者

jquery easyui datagrid mvc server端分页排序筛选的实现

1自定义一个ModelBinder public class filterRule { public string field { g...

4179
来自专栏跟着阿笨一起玩NET

winform treeView 数据绑定

932
来自专栏菩提树下的杨过

SqlTransaction事务使用示例

using System; using System.Data; using System.Data.SqlClient; using System.Co...

1838

扫码关注云+社区