专栏首页新智元谷歌新 AI 实验室主管 Hugo 深度学习教程:神经网络、CV、NLP 难点解析

谷歌新 AI 实验室主管 Hugo 深度学习教程:神经网络、CV、NLP 难点解析

【新智元导读】 11月22日,谷歌在蒙特利尔的现有办公室开设了一个全新的深度学习和人工智能研究小组。新团队将作为位于山景城的 Google Brain 团队的远程部门,由从 Twitter 深度学习部门出来的 Hugo Larochelle 领导。Hugo Larochelle 是 Yoshua Bengio的博士生,Geoffrey Hinton之前的博士后。本文是他主讲的神经网络教程,内容包括神经网络原理介绍、深度学习及应用层面的计算机视觉和自然语言处理等等,课程深入浅出,且全面系统,是不可多得的了解深度学习基础知识的优质材料。

11月22日,Hugo 宣布加入谷歌蒙特利尔人工智能研究小组。

【经典】Hugo Larochelle 深度学习讲课视频(时长 1 小时,建议在 WiFi 环境下观看)

课程介绍

第 0 周 引言和数学复习

总体概览:Hugo Larochelle 在Sherbrooke课程上使用的讲义

线性代数:吴恩达课程回顾

统计学:William Faris 的课程笔记第三章

抽样:Iain Murray的博士论文,第20-31页

第 1 周 前馈神经网络

主要内容:人造神经元、激活函数、单个神经元的能力、多层神经网络、神经网络的能力、生物学的启示。

第 2 周 训练神经网络

主要内容:经验风险最小化、损失函数、输出层梯度、隐藏层梯度、激活函数派生、参数梯度、反向传播、正则化、参数初始化、模型选择、优化。

第3周 条件随机场

主要内容:Motivation、直链CRF、文本窗口、计算分割函数、计算边际、执行分类、因子,有效统计和线性CRF,马尔科夫网络、因子图、信念传播(Belief Propagation)。

第4周 训练CRFs

主要内容:损失函数、一元log-factor 梯度、成对log-factor梯度、区分与生成学习、最大熵马尔科夫模型、隐藏马尔科夫模型、常规条件随机场、Pseudolikelihood

第5周 有限玻尔兹曼机器

主要内容:有限玻尔兹曼机器的定义、推理、自由能量、对比发散、对比发散(参数升级)、坚固的CD、例子、扩展。

第6周 自动编码器

主要内容:自动编码器的定义、损失函数、例子、线性自动编码器、未完成VS过完成隐藏层、去噪自动编码器、收缩自动编码器。

第7周 深度学习

主要内容:动机、训练的难度、非监督预训练、例子、漏失信息、深度自动编码器、深度信念网络、可变化的绑定、深度信念网络(DBN )预训练

第8周 稀疏编码

主要内容:定义、推理(ISTA 算法)、词典更新——映射梯度下降、词典更新——块调整下降、词学习算法、线上词学习算法、ZCA 预处理、特征提取、与V1的关系

第9周 计算机视觉

主要内容:动机、局部连接性、参数分享、离散卷积、池化与次抽样、卷积网络、物体识别、样本、数据集扩展、卷积RBM

第10周 自然语言处理

主要内容:动机、预处理、单次编码、词表征、语言建模、神经网络语言模型、分层的输出层、词标签、卷积网络、多任务学习、递归网络、合并表征、树表征、递归网络训练。

重点介绍,第7周:深度学习

1. 深度学习

主题:深度学习;分布式表征

深度学习,就是使用多层表征研究学习模型

  • 多层(前馈)神经网络
  • 多层图模型(深度信念网络,深度玻尔兹曼机)

每一层对应于一个分布式表征

  • 每层中的单元并不是相互排斥的
  • 可同时激活两个单元

它们对被区分开的(分串)输入不会有反应

  • 在串中,输入只属于单一的串

深度学习从视觉皮质获得启发

主题:理论论证

一个深度架构可以代表特定的函数,但是在简洁性上却有指数级的进步。

一个例子:布尔函数

2. 训练的难度

为什么深度学习的训练很难?

第一个假设:优化更难(没有达到拟合)

梯度消失的问题

饱和单元会阻碍梯度传播

这是递归神经网络中的一个著名难题

第二个假设:过拟合

我们正在探索的,是一个带有复杂函数的空间

深度网络一般都有很多的参数

可能会存在于高变量/低偏见的情况下

解决方案:第一种情况,使用更好的优化;第二种情况,使用更好的正则化,非监督学习、随机训练。

3. 非监督预训练

使用非监督学习对隐藏层进行初始化

非监督式的预训练

第一层:找到隐藏层的特征,比起随机输入,训练后的输入中这些特征更加常见。

第二层:找到隐藏层中各种特征的结合点,这比随机隐藏层的特征更加常见。

第三层:找到结合中的结合……

调整:在所有的层都经过预训练后进行,这是一个监督式学习的过程。

主题:伪代码

4. 深度学习原理解析

包含内容:预训练、调参、数据库等

假设:使用随机梯度下降来训练整个神经网络

5. Dropout

通过随机地一处隐藏单元,让神经网络“残废”

Dropout 概率值设定在0.5

主题:测试时间分类

6. 自动编码

预训练可用于对一个深度自动编码器进行初始化

7. 深度信念网络

可变绑定

神经网络层数的增加可以呈现递归性重复

现在可以把这一过程看成

调优由自上而下的算法完成

8. 可变绑定

9. 深度信念网络预训练

Hugo Larochelle 本课程更多内容,包括讲义和视频(92 堂课)可在爱可可老师的微博(账号:爱可可-爱生活)上查询并下载!

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-12-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 褚达晨:深度学习青衫磊落险峰行,人工智能漫谈之一

    【新智元导读】作者褚达晨认为,科技发展让人类借助计算机的能力,在一个超高维弯曲空间中,搜寻自然世界奥秘。而深度学习则是利用最近年发展起来的大算力,让计算机代替人...

    新智元
  • 年终巨献:深度学习完全指南

    【新智元导读】这份指南适合有一些数学基础,了解一些编程语言,现在想深入学习深度学习的人。主要包括2个视频教程,2部重要专著,一系列深入浅出的博客文章,以及一系列...

    新智元
  • Geoff Hinton 专访:Waston 系统和深度学习有什么区别?

    关键词还没输入完毕,Google已经返回了你想要的搜索结果;Facebook能将你上传的照片自动打上标签;无人驾驶汽车都已经开上路了。这些所有令人觉得不可思议的...

    新智元
  • 褚达晨:深度学习青衫磊落险峰行,人工智能漫谈之一

    【新智元导读】作者褚达晨认为,科技发展让人类借助计算机的能力,在一个超高维弯曲空间中,搜寻自然世界奥秘。而深度学习则是利用最近年发展起来的大算力,让计算机代替人...

    新智元
  • ​大牛的《深度学习》笔记,60分钟带你学完Deep Learning(下)

    导读:昨天我们为大家带来了大牛Zouxy学习深度学习的笔记的上篇。今天我们继续为大家带来教程的下篇,让我们看看这位大牛在深度学习领域还有什么独到的理解~ |六、...

    AI科技评论
  • 【LeCun & Bengio】NIPS 2015 深度学习专题论坛实录(35PPT)

    Yann LeCun:纽约大学终身教授,Facebook人工智能实验室负责人。 Yoshua Bengio:加拿大蒙特利尔大学教授,深度学习大神。 “Deep ...

    新智元
  • 英特尔院士概述深度学习愿景与优化,Caffe for Xeon Phi成亮点

    用户1737318
  • 监督学习 – Supervised learning

    监督学习需要有明确的目标,很清楚自己想要什么结果。比如:按照“既定规则”来分类、预测某个具体的值…

    easyAI
  • AI从业者需要应用的10种深度学习方法

    深度学习是作为这个领域的一个重要竞争者,在这个十年的爆炸式的计算增长中出现的,赢得了许多重要的机器学习竞赛。利息至2017年尚未降温; 今天,我们看到在机器学习...

    刀刀老高
  • 解密腾讯海量服务之道

    一直对腾讯做产品的能力比较敬佩的,我们组做消息推送系统,而腾讯的信鸽就是我们学习的榜样。京东很多做产品的思想是跟腾讯学的,而京东很多同事也从腾讯过来的(京东合并...

    用户1263954

扫码关注云+社区

领取腾讯云代金券