神经网络和深度学习(三) ——浅层神经网络的表示与输出

神经网络和深度学习(三)——浅层神经网络的表示与输出

(原创内容,转载请注明来源,谢谢)

一、神经网络的表示

神经网络,实质上是一些输入,经过多层神经元的处理,得到想要的输出。这里的输出,即预测的结果。

现在以logistic回归作为实例,单个神经元,实际上完成了logistic的z=wTx+b的计算以及a=1/(1+e-z)这两步的计算。

对于多层神经网络,实际上是将上一层的输出,作为下一层的输入(即作为z=wTx+b中的x),带入进行计算的。

对于神经网络的层级,每一列为一层,但是需要注意的是,输入的X不被记为层(或者说被认为是第0层),因此下图是一个双层神经网络。

其中中间的所有层(除去输入层和输出层)都是隐藏层,下图有一个隐藏层;最后一层是输出层。

另外,a表示输出,a[l]表示第l层的输出(即l+1层的输入),而下标ai表示的是第i个神经元。

因此,对于第l层,z[l]=W[l]Ta[l-1]+b[l],a[l]=δ(z[l]),l=1,2,3…n,输入层X可以看作是a[0]。

二、神经网络的输出

现在将一个神经元放大,可以看到上面说的内容,将z和a的计算合并在一个神经元中进行。

对于同一层,如果有多个神经元,则会进行多次这样的计算,且共同把结果作为下一层的输入,传给下一层进行计算。

这里详细列出每个神经元的计算结果,可以看到,在同一层中,各个元素的计算是并行的,分别去计算出各自的z、a,并且把结果整合成一个向量,作为下一层的输入变量。

这里也要运用到向量化的技术,即把输入的X、第一层的a,都分别作为一个向量进行计算,而不是对每一层再用for循环去遍历,这样加快了计算的速度,也加快最终得到结果的速度。

三、小结

本文讨论了神经网络的表示和输出,可以看到对于单次logistic回归,在神经网络中是用一个神经元来计算的。而神经网络中有多个神经元,而且有多个层级,这样保证了计算结果的正确率。

——written by linhxx 2018.02.01

原文发布于微信公众号 - 决胜机器学习(phpthinker)

原文发表时间:2018-02-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏鸿的学习笔记

写给开发者的机器学习指南(三)

在本节中,我们将解释一些可用于模型验证的技术,以及在验证技术范围内机器学习领域常用的一些术语。

471
来自专栏李智的专栏

斯坦福CS231n - CNN for Visual Recognition(2)-lecture3(上)线性分类器、损失函数

  由于之前KNN分类器的缺点,让我们很自然地去寻找有更加强大地方法去完成图像分类任务,这种方法主要有两部分组成: 评分函数(score function)...

761
来自专栏人工智能LeadAI

译文 | 与TensorFlow的第一次接触 第四章:单层神经网络

在前言中,已经提到经常使用深度学习的领域就是模式识别。编程初学者都是从打印“Hello World”开始,深度学习中我们则是从识别手写数字开始。 本章中,我会讲...

37111
来自专栏文武兼修ing——机器学习与IC设计

基于sklearn的线性支持向量机分类器原理代码实现

原理 分类器 机器学习的分类器,均可以看成一个或一组超平面,将label不同的数据点在数据空间中分开。对于线性可分问题,属于相同label的数据点在数据空间中可...

3619
来自专栏老秦求学

Keras实现风格迁移

风格迁移算法经历多次定义和更新,现在应用在许多智能手机APP上。 风格迁移在保留目标图片内容的基础上,将图片风格引用在目标图片上。

1714
来自专栏人工智能

深入机器学习系列12-高斯混合模型

高斯混合模型   现有的高斯模型有单高斯模型()和高斯混合模型()两种。从几何上讲,单高斯分布模型在二维空间上近似于椭圆,在三维空间上近似于椭球。在很多情况下,...

2189
来自专栏机器学习算法原理与实践

文本主题模型之潜在语义索引(LSI)

    在文本挖掘中,主题模型是比较特殊的一块,它的思想不同于我们常用的机器学习算法,因此这里我们需要专门来总结文本主题模型的算法。本文关注于潜在语义索引算法(...

622
来自专栏人工智能

机器学习的基础讲解:神经网络

AiTechYun 编辑:yuxiangyu 在之前的文章中,我通过展示学习过程中成本函数和梯度下降的核心作用,阐述了机器学习的工作原理。本文以此为基础,探索神...

1848
来自专栏人工智能的秘密

算法教程:能够体现文本语义关系的关键词提取算法

关键词提取能让我们快速地了解一篇文章。在信息爆炸的时代,能够有效提取文本的关键词,对于快速、及时、高效地获取信息是非常有帮助的。本文介绍一种能够体现文本语义关系...

2830
来自专栏人人都是极客

Peter教你谈情说AI | 05用梯度下降法求线性回归模型

监督学习指的是人类给机器一大堆标示(label)过的数据,通常指机器通过学习一系列(, )数据,X代表输入数据(特征Feature),Y代表输出数据,然后自我推...

931

扫码关注云+社区