谷歌新 AI 实验室主管 Hugo 深度学习教程:神经网络、CV、NLP 难点解析

【新智元导读】 11月22日,谷歌在蒙特利尔的现有办公室开设了一个全新的深度学习和人工智能研究小组。新团队将作为位于山景城的 Google Brain 团队的远程部门,由从 Twitter 深度学习部门出来的 Hugo Larochelle 领导。Hugo Larochelle 是 Yoshua Bengio的博士生,Geoffrey Hinton之前的博士后。本文是他主讲的神经网络教程,内容包括神经网络原理介绍、深度学习及应用层面的计算机视觉和自然语言处理等等,课程深入浅出,且全面系统,是不可多得的了解深度学习基础知识的优质材料。

11月22日,Hugo 宣布加入谷歌蒙特利尔人工智能研究小组。

【经典】Hugo Larochelle 深度学习讲课视频(时长 1 小时,建议在 WiFi 环境下观看)

课程介绍

第 0 周 引言和数学复习

总体概览:Hugo Larochelle 在Sherbrooke课程上使用的讲义

线性代数:吴恩达课程回顾

统计学:William Faris 的课程笔记第三章

抽样:Iain Murray的博士论文,第20-31页

第 1 周 前馈神经网络

主要内容:人造神经元、激活函数、单个神经元的能力、多层神经网络、神经网络的能力、生物学的启示。

第 2 周 训练神经网络

主要内容:经验风险最小化、损失函数、输出层梯度、隐藏层梯度、激活函数派生、参数梯度、反向传播、正则化、参数初始化、模型选择、优化。

第3周 条件随机场

主要内容:Motivation、直链CRF、文本窗口、计算分割函数、计算边际、执行分类、因子,有效统计和线性CRF,马尔科夫网络、因子图、信念传播(Belief Propagation)。

第4周 训练CRFs

主要内容:损失函数、一元log-factor 梯度、成对log-factor梯度、区分与生成学习、最大熵马尔科夫模型、隐藏马尔科夫模型、常规条件随机场、Pseudolikelihood

第5周 有限玻尔兹曼机器

主要内容:有限玻尔兹曼机器的定义、推理、自由能量、对比发散、对比发散(参数升级)、坚固的CD、例子、扩展。

第6周 自动编码器

主要内容:自动编码器的定义、损失函数、例子、线性自动编码器、未完成VS过完成隐藏层、去噪自动编码器、收缩自动编码器。

第7周 深度学习

主要内容:动机、训练的难度、非监督预训练、例子、漏失信息、深度自动编码器、深度信念网络、可变化的绑定、深度信念网络(DBN )预训练

第8周 稀疏编码

主要内容:定义、推理(ISTA 算法)、词典更新——映射梯度下降、词典更新——块调整下降、词学习算法、线上词学习算法、ZCA 预处理、特征提取、与V1的关系

第9周 计算机视觉

主要内容:动机、局部连接性、参数分享、离散卷积、池化与次抽样、卷积网络、物体识别、样本、数据集扩展、卷积RBM

第10周 自然语言处理

主要内容:动机、预处理、单次编码、词表征、语言建模、神经网络语言模型、分层的输出层、词标签、卷积网络、多任务学习、递归网络、合并表征、树表征、递归网络训练。

重点介绍,第7周:深度学习

1. 深度学习

主题:深度学习;分布式表征

深度学习,就是使用多层表征研究学习模型

  • 多层(前馈)神经网络
  • 多层图模型(深度信念网络,深度玻尔兹曼机)

每一层对应于一个分布式表征

  • 每层中的单元并不是相互排斥的
  • 可同时激活两个单元

它们对被区分开的(分串)输入不会有反应

  • 在串中,输入只属于单一的串

深度学习从视觉皮质获得启发

主题:理论论证

一个深度架构可以代表特定的函数,但是在简洁性上却有指数级的进步。

一个例子:布尔函数

2. 训练的难度

为什么深度学习的训练很难?

第一个假设:优化更难(没有达到拟合)

梯度消失的问题

饱和单元会阻碍梯度传播

这是递归神经网络中的一个著名难题

第二个假设:过拟合

我们正在探索的,是一个带有复杂函数的空间

深度网络一般都有很多的参数

可能会存在于高变量/低偏见的情况下

解决方案:第一种情况,使用更好的优化;第二种情况,使用更好的正则化,非监督学习、随机训练。

3. 非监督预训练

使用非监督学习对隐藏层进行初始化

非监督式的预训练

第一层:找到隐藏层的特征,比起随机输入,训练后的输入中这些特征更加常见。

第二层:找到隐藏层中各种特征的结合点,这比随机隐藏层的特征更加常见。

第三层:找到结合中的结合……

调整:在所有的层都经过预训练后进行,这是一个监督式学习的过程。

主题:伪代码

4. 深度学习原理解析

包含内容:预训练、调参、数据库等

假设:使用随机梯度下降来训练整个神经网络

5. Dropout

通过随机地一处隐藏单元,让神经网络“残废”

Dropout 概率值设定在0.5

主题:测试时间分类

6. 自动编码

预训练可用于对一个深度自动编码器进行初始化

7. 深度信念网络

可变绑定

神经网络层数的增加可以呈现递归性重复

现在可以把这一过程看成

调优由自上而下的算法完成

8. 可变绑定

9. 深度信念网络预训练

Hugo Larochelle 本课程更多内容,包括讲义和视频(92 堂课)可在爱可可老师的微博(账号:爱可可-爱生活)上查询并下载!

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-12-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

干货 | 深度详解ResNet及其六大变体

编译 | 图普科技 本文由图普科技工程师编译自《An Overview of ResNet and its Variants》。 从AlexNet[1]在201...

4716
来自专栏算法channel

TensorFlow 指标列,嵌入列

一般地,机器学习、深度学习 feed 进来的数据要求为数值型。如果某列取值为字符型,需要做数值转换,今天就来总结下 TensorFlow 中的指标列和嵌入列。

1763
来自专栏机器之心

初学TensorFlow机器学习:如何实现线性回归?(附练习题)

选自Technica Curiosa 作者:Nishant Shukla 机器之心编译 参与:Jane W 本文的作者 Nishant Shukla 为加州大学...

3167
来自专栏新智元

Andrej Karpathy 最新演讲:计算机视觉深度学习技术与趋势 (104PPT)

2016年10月18日, 世界人工智能大会技术分论坛,特设“新智元智库院长圆桌会议”,重量级研究院院长 7 剑下天山,汇集了中国人工智能产学研三界最豪华院长阵容...

3968
来自专栏人工智能

决策树及ID3算法学习

决策树是一种用树形结构来辅助行为研究、决策分析以及机器学习的方式,是机器学习中的一种基本的分类方法。

1.6K16
来自专栏人工智能LeadAI

从CVPR2017 看多样目标检测

1、导读 When you have trouble with object detection, keep calm and use deep learnin...

4675
来自专栏大数据挖掘DT机器学习

【R语言】用gbm包来提升决策树能力

中国有句老话:三个臭皮匠,顶个诸葛亮。这个说法至少在变形金刚中得到了体现,没有组合之前的大力神只是五个可以被柱子哥随手秒掉工地苦力。但组合之后却是威力大增。在机...

3904
来自专栏机器学习之旅

理论:SVM理论解析及python实现

关于常见的分类算法在不同数据集上的分类效果,在《Do we Need Hundreds of Classifiers to Solve Real World C...

1183
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习基石课程学习笔记14 -- Regularization

上节课我们介绍了过拟合发生的原因:excessive power, stochastic/deterministic noise 和limited data。并...

2490
来自专栏量子位

超分辨率技术如何发展?这6篇ECCV 18论文带你一次尽览

在这篇文章中,亲历了ECCV 2018的机器学习研究员Tetianka Martyniuk挑选了6篇ECCV 2018接收论文,概述了超分辨率(Super-Re...

1.1K2

扫码关注云+社区

领取腾讯云代金券