神经网络和深度学习(三) ——浅层神经网络的表示与输出

神经网络和深度学习(三)——浅层神经网络的表示与输出

(原创内容,转载请注明来源,谢谢)

一、神经网络的表示

神经网络,实质上是一些输入,经过多层神经元的处理,得到想要的输出。这里的输出,即预测的结果。

现在以logistic回归作为实例,单个神经元,实际上完成了logistic的z=wTx+b的计算以及a=1/(1+e-z)这两步的计算。

对于多层神经网络,实际上是将上一层的输出,作为下一层的输入(即作为z=wTx+b中的x),带入进行计算的。

对于神经网络的层级,每一列为一层,但是需要注意的是,输入的X不被记为层(或者说被认为是第0层),因此下图是一个双层神经网络。

其中中间的所有层(除去输入层和输出层)都是隐藏层,下图有一个隐藏层;最后一层是输出层。

另外,a表示输出,a[l]表示第l层的输出(即l+1层的输入),而下标ai表示的是第i个神经元。

因此,对于第l层,z[l]=W[l]Ta[l-1]+b[l],a[l]=δ(z[l]),l=1,2,3…n,输入层X可以看作是a[0]。

二、神经网络的输出

现在将一个神经元放大,可以看到上面说的内容,将z和a的计算合并在一个神经元中进行。

对于同一层,如果有多个神经元,则会进行多次这样的计算,且共同把结果作为下一层的输入,传给下一层进行计算。

这里详细列出每个神经元的计算结果,可以看到,在同一层中,各个元素的计算是并行的,分别去计算出各自的z、a,并且把结果整合成一个向量,作为下一层的输入变量。

这里也要运用到向量化的技术,即把输入的X、第一层的a,都分别作为一个向量进行计算,而不是对每一层再用for循环去遍历,这样加快了计算的速度,也加快最终得到结果的速度。

三、小结

本文讨论了神经网络的表示和输出,可以看到对于单次logistic回归,在神经网络中是用一个神经元来计算的。而神经网络中有多个神经元,而且有多个层级,这样保证了计算结果的正确率。

——written by linhxx 2018.02.01

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2018-02-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术随笔

深度学习 — 反向传播(BP)理论推导"BP" Math Principle前向传播反向传播应用实例Reference

4036
来自专栏人工智能LeadAI

机器学习必须熟悉的算法之word2vector

word2vector已经成为NLP领域的基石算法。作为一名AI 从业者,如果不能主动去熟悉该算法,应该感到脸红。本文是一篇翻译的文章,原文链接是:http:/...

44315
来自专栏机器之心

AAAI 2018 | 南京大学提出SSWL:从半监督弱标注数据中学习多标签学习问题

3449
来自专栏fangyangcoder

Andrew Ng机器学习课程笔记(二)之逻辑回归

http://www.cnblogs.com/fydeblog/p/7364636.html

823
来自专栏ATYUN订阅号

为什么我们一定要用随机权重初始化神经网络

必须将人工神经网络的权重初始化为小的随机数。这是因为这是用于训练模型的随机优化算法的期望,即随机梯度下降。

553
来自专栏魏晓蕾的专栏

【机器学习】CS229课程笔记notes1翻译-Part II分类和logistic回归

      我们现在谈论分类问题。分类问题与回归问题类似,区别是在分类问题中,我们现在想要预测的y值只取少量的离散值。现在,我们聚焦于二值分类问题,y只取两个值...

1787
来自专栏人工智能LeadAI

译文 | 与TensorFlow的第一次接触 第五章:多层神经网络

本章中,我们继续使用之前章节中的MNIST数字识别问题,与读者一起编码实现一个简单的深度学习神经网络。 如我们所了解的,一个深度学习神经网络由相互叠加的多层组成...

3244
来自专栏机器学习与自然语言处理

信息量,熵,交叉熵,相对熵与代价函数

本文将介绍信息量,熵,交叉熵,相对熵的定义,以及它们与机器学习算法中代价函数的定义的联系。 1. 信息量 信息的量化计算: ? 解释如下: 信息量的大小应该可...

2699
来自专栏人工智能LeadAI

零基础入门深度学习 | 第六章:长短时记忆网络(LSTM)

无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learni...

5235
来自专栏州的先生

使用机器学习模型快速进行图像分类识别

1013

扫描关注云+社区