谷歌大脑深度学习从入门到精通视频课程[2.5]:训练神经网络——激活函数的导数

AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会每天在公众号中推送一到两节课,并且对视频中的 PPT 进行讲解。课后,我们会设计一系列的问题来巩固课程中的知识。本节课是 Hugo Larochelle 教授深度学习第二章节的第五节课。

课程主要内容

  1. 回顾上一节课的内容,主要讲解了未激活时,隐藏层的损失梯度。(P2)
  2. 三种激活函数的偏导数。(P3-P5)
视频内容

PPT 解释如下:

P1. 首页

P2. 内容回顾,主要讲解了未激活时,隐藏层的损失梯度。

P3. 线性激活函数的偏导数。

P4. sigmoid 激活函数的偏导数。

P5. tanh激活函数的偏导数。

课程作业

尝试画出激活函数和它的偏导数。

讲师简介

Hugo Larochelle 教授师从 Yoshua Bengio 教授,并且在 Geoffrey Hinton 教授那里做了两年的博士后工作。目前 Hugo Larochelle 教授是 Google Brain 的研究科学家。他在 Youtube 上面的神经网络课程视频讲的深入浅出,非常适合从零开始学习。

本文为 AI100 原创,转载需得到本公众号同意。


原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-02-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

计算机视觉界牛人牛事

作者:GarfieldEr007 原文地址:http://www.jianshu.com/p/b3bbeb7c67f5 CV人物1:Jianbo Shi史建波...

40950
来自专栏深度学习

人脸识别技术发展及实用方案设计

人脸识别技术不但吸引了Google、Facebook、阿里、腾讯、百度等国内外互联网巨头的大量研发投入,也催生了Face++、商汤科技、Linkface、中科云...

53570
来自专栏机器之心

资源 | 最入门级别的机器学习图书:Chris Bishop发布在线新书

选自MBML book 参与:蒋思源 PRML 大神、微软剑桥研究院院长 Chris Bishop 与 John Winn 的机器学习新书 Model Base...

29460
来自专栏大数据文摘

让你上瘾的网易云音乐推荐算法,用Word2vec就可以实现

14540
来自专栏数据派THU

【独家】深扒Yann LeCun清华演讲中提到的深度学习与人工智能技术(PPT+视频)

本文长度为3000字,建议阅读10分钟 本文为Yann LeCun在清华大学做的关于深度学习与人工智能技术的演讲梗概。 姚期智先生引言: 非常荣幸来给大家介...

23470
来自专栏机器学习算法与Python学习

286页PDF教你如何搞明白深度学习的算法、理论与计算系统!(可下载)

如何将深度学习等AI算法应用到实际场景里,不是一件容易的事情。 结合Petuum, 邢波教授在7月份深度学习夏令营分享了关于从统计机器学习视角理解深度学习的算法...

24040
来自专栏新智元

CVPR大规模行为识别竞赛连续两年夺冠,上交大详细技术分享

【新智元导读】近日,视频行为理解领域的ImageNet竞赛——ActivityNet Challenge 2018在CVPR 会议上落下了帷幕。来自上海交通大学...

12900
来自专栏新智元

【普华永道全息图解】机器学习演化史,方法、应用场景与发展趋势

【新智元导读】普华永道最近推出了一系列机器学习信息图示,很好地将机器学习的发展历史、关键方法以及未来会如何影响社会生活展现了出来。基础概念部分包括机器学习各大学...

40790
来自专栏AI科技评论

澳门大学讲座教授陈俊龙:从深度强化学习到宽度强化学习 - 结构,算法,机遇及挑战

AI 科技评论按:2018 年 5 月 31 日-6 月 1 日,中国自动化学会在中国科学院自动化研究所成功举办第 5 期智能自动化学科前沿讲习班,主题为「深度...

16960
来自专栏机器之心

回顾 | CVPR 2017完全指北:深度学习与计算机视觉融合的一年,未来又会是什么?

机器之心(海外)原创 作者:QW、CZ 参与:王灏、Panda 当地时间 7 月 21 日到 16 日,夏威夷火奴鲁鲁迎来了 2017 年计算机视觉与模式识别会...

43260

扫码关注云+社区

领取腾讯云代金券