谷歌大脑深度学习从入门到精通视频课程[1.2]:前馈神经网络——激活函数

视频内容

课程主要内容

  1. 回顾上一节课的内容。(P2)
  2. 神经网络中的四种激活函数的性质。(P3-P6)

PPT 解释如下:

P1. 首页

P2. 回顾上一节课的内容,主要讲解了什么是权重,什么是偏差,什么是激活函数。

P3. 线性激活函数:g(a)= a。它主要有两个特点:(1)没有对输入做任何的处理;(2)效果非常不理想。

P4. sigmoid激活函数:

。它主要有四个特点:(1)将输入数据压缩在0到1之间;(2)输出数据总是正数;(3)输出数据有边界;(4)严格递增。

P5. tanh激活函数:

。它主要有四个特点:(1)将输入数据压缩在-1到1之间;(2)输出数据有正数,也有负数;(3)输出数据有边界;(4)严格递增。

P6. Relu激活函数:

。它主要有四个特点:(1)将输入数据压缩在非负数范围;(2)输出数据没有上边界;(3)在大于零时,输出数据是严格递增;(4)让神经元变成稀疏激活。

课程作业

假设我们的输入数据是 [1.0, 0.0, -1.0],那么依次(线性,sigmoid,tanh,Relu)经过上面的四种激活函数之后,输出的结果是多少?

课程讨论群

我们组织了课程讨论群,请先扫描下面的二维码关注我们的公众号,在交流群一栏中选择 DL课程讨论群,添加课程负责人。然后将课程作业答案发送给他,通过之后,他会邀请你加入讨论。

本文为 AI100 原创,转载需得到本公众号同意。


本文分享自微信公众号 - AI科技大本营(rgznai100)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-02-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云时之间

NLP入门之N元语法模型

在上边我们知道其实当今的自然语言处理的主流趋势是统计自然语言处理,而统计自然语言处理的基本目的就是结合语料库中的一些数据对于某些未知的数据进行处理,从而根据这些...

75950
来自专栏AI科技大本营的专栏

朴素贝叶斯分类器详解及中文文本舆情分析(附代码实践)

作者 | 杨秀璋(笔名:Eastmount),贵州财经大学信息学院老师,硕士毕业于北京理工大学,主要研究方向是Web数据挖掘、知识图谱、Python数据分析、图...

1K30
来自专栏新智元

谷歌开源神经网络模型,压缩图片比传统方法提升25%(附论文)

【新智元导读】 谷歌官方博客今天发布了一篇文章,介绍如何使用神经网络压缩图片。在论文中,谷歌证明了神经网络可以获得比现在普遍使用的压缩方法质量更好、大小更小的图...

45740
来自专栏Petrichor的专栏

论文阅读: R-CNN

版权声明:转载请注明出处 https://blog.csdn.net/JNingWei/article/details/80189868 ...

18520
来自专栏AI研习社

如何有效处理特征范围差异大且类型不一的数据?

原题目如下: 1. 特征类型混杂: 连续变量,离散变量,描述变量共存 2. 不同变量之间取值差异大: 例如有些变量取值在 0~1 但有些取值为 10000-5...

50370
来自专栏技术随笔

[透析] 卷积神经网络CNN究竟是怎样一步一步工作的?

39360
来自专栏人工智能

基于神经网络的图像压缩技术

(本文由软件工程师 Nick Johnston 和 David Minnen 发布)

1.1K120
来自专栏人工智能LeadAI

透析 | 卷积神经网络CNN究竟是怎样一步一步工作的?

视频地址:https://www.youtube.com/embed/FmpDIaiMIeA; 文档参阅:<a href="https://github.com...

43660
来自专栏量子位

自然语言处理中的注意力机制是干什么的?

王小新 编译自Quora 量子位 出品 | 公众号 QbitAI 谈神经网络中注意力机制的论文和博客都不少,但很多人还是不知道从哪看起。于是,在国外问答网站Qu...

30130
来自专栏人工智能头条

优秀的排序算法如何成就了伟大的机器学习技术(视频+代码)

【导读】在机器学习中,支持向量机(SVM)算法是针对二分类任务设计的,可以分析数据,识别模式,用于分类和回归分析。训练算法构建一个模型,将新示例分配给一个类别或...

10420

扫码关注云+社区

领取腾讯云代金券