Geoffrey Hinton | 深度学习之父的神经网络第三课!

作为深度学习祖师,Geoffrey Hinton 的每一句每一言,都使学习者如奉纶音。浓缩其毕生所学的《Neutral Network for Machine Learning》,则是唯一一门 Hinton 老师系统讲授的公开课。

自 2012 年开课,NNML 就一跃成为深度学习开发者的殿堂级慕课。时隔五年,仍然是内容最“干”、最值得学习的深度学习课程。

如果说吴恩达的《Machine Learning》是最佳入门课程,描述 NNML 则只需两个字: “必修”——对于有志于真正掌握深度学习的人而言。

它很难,但也因此没有做任何“dumb down”——为照顾小白而牺牲“厚度”,把原本并不单纯的原理硬以简单的类比表述出来,是几乎所有深度学习课程不得不做的妥协。

但这门课没有。

Lecure 3

线性/逻辑神经网络和反向传播

视频内容

内容目录

Lecure 3 3.1 线性神经元的权值收敛 上面几节课详细讲解了感知器,这次介绍线性神经元,跟感知器思想类似,但又不同:线性神经元训练时会趋近于目标值。接下来Hinton会用猜测餐馆菜价的例子,解释权重收敛的过程。 3.2 线性神经元误差曲面分析 权重更新离不开误差计算,这节课着重分析下线性神经元的误差曲面,以及怎么用梯度下降算法和学习率寻找权值的收敛方向 3.3 逻辑神经元的学习规则 线性神经元简单但能力有限,实际中用的多是非线性神经元,比如logit神经元,也称sigmoid函数,具体有哪些神奇之处? 3.4 反向传播算法解析(一) 多层非线性神经网络功能强大,但是由于结构复杂,难以训练。幸运的是,鼎鼎大名的BP(反向传播)算法解决了训练难题,直接掀起了AI的第二次热潮。 3.5 反向传播算法解析(二) 上次讲了BP算法的基本原理,误差反向传播,动态更新权值,但是仍然有些疑点:比如,以什么样的频率更新?怎么防止过拟合?

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2017-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

全面解读用于文本特征提取的神经网络技术:从神经概率语言模型到GloVe

选自arXiv 作者:Vineet John 机器之心编译 参与:吴攀、李亚洲、蒋思源 文本特征提取是自然语言处理的核心问题之一,近日,加拿大滑铁卢大学的 Vi...

47280
来自专栏目标检测和深度学习

入门 | 献给新手的深度学习综述

论文:Recent Advances in Deep Learning: An Overview

13220
来自专栏AI研习社

干货 | 请收下这份2018学习清单:150个最好的机器学习,NLP和Python教程

本文英文出处:Robbie Allen 翻译/吴楚 校对/田晋阳 机器学习的发展可以追溯到1959年,有着丰富的历史。这个领域也正在以前所未有的速度进化。在之...

43480
来自专栏SIGAI学习与实践平台

【技术短文】人脸检测算法之 S3FD

同时在本微信公众号中,回复“SIGAI”+日期,如“SIGAI0515”,即可获取本期文章的全文下载地址(仅供个人学习使用,未经允许,不得用于商业目的)。

11430
来自专栏机器学习和数学

[高大上的DL] Deep Learning中常用loss function损失函数的小结

在前面我们分享的如何来训练CNN中,提到了BP算法,还记得BP算法是怎么更新参数w,b的吗?当我们给网络一个输入,乘以w的初值,然后经过激活函数得到一个输出。然...

5.3K80
来自专栏机器之心

入门 | 献给新手的深度学习综述

论文:Recent Advances in Deep Learning: An Overview

16230
来自专栏机器学习算法与Python学习

干货 | 请收下这份机器学习清单

机器学习的发展可以追溯到1959年,有着丰富的历史。这个领域也正在以前所未有的速度进化。在之前的一篇文章(https://unsupervisedmethods...

14900
来自专栏AI科技评论

图片里的人在干嘛?让深度学习来告诉你 |谷歌CVPR2016论文详解

明确对象描述的生成与解读 摘要 本文提出了一个可以生成针对图片中特定目标或区域明确描述(指代表达)的方法,这个方法也能理解或解释这一指代表达,进而推断出正确的被...

31760
来自专栏大数据挖掘DT机器学习

情感分析的新方法,使用word2vec对微博文本进行情感分析和分类

情感分析是一种常见的自然语言处理(NLP)方法的应用,特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式,情感分析可以被视为利用一些情感得分指标来...

1.3K100
来自专栏机器之心

学界 | Bengio等人提出图注意网络架构GAT,可处理复杂结构图

35680

扫码关注云+社区

领取腾讯云代金券