前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何用tensorflow实现简单的全连接神经网络

如何用tensorflow实现简单的全连接神经网络

作者头像
狼啸风云
修改2022-09-04 22:06:28
2.3K0
修改2022-09-04 22:06:28
举报
文章被收录于专栏:计算机视觉理论及其实现

一个神经元有多个输入和输出。每个神经元的输入既可以是其他神经元的输出,也可以是整个神经网络的输入,所谓神经网络的结构指的就是不同神经元之间的连接结构。如下图所示,一个最简单的神经元结构的输出就是所有输入的加权和,而不同权重就是神经元的参数,神经网络的优化过程就是优化神经元中参数取值的过程。

计算神经网络的前向传播结果需要三部分信息,如下图所示:

(1)第一部分是神经网络的输入,这个输入就是从实体中提取的特征向量。

(2)第二部分是神经网络的连接结构。神经网络是时由神经元构成的,神经网络的结构给出不同神经元之间输入和输出的连接关系,神经元也可以称为节点。 

(3)最后一部分给出了神经元的参数。

 下图给出神经元前向传播算法的示意图:

输入层的取值x1 = 0.7和x2 = 0.9.从输入层开始一层一层地使用前向传播算法。首先隐藏层中有三个节点,每一个节点的取值都是输入层取值的加权和。下面给出a11取值的详细计算过程:

a_{11}=W_{1,1}^{(1)} x_{1}+W_{2,1}^{(1)} x_{2}=0.7 \times 0.2+0.9 \times 0.3=0.14+0.27

a12和a13也可以通过类似的方法计算得到,上图给出了具体的计算公式。在得到第一层节点的取值之后,可以进一步推导得到输出层的取值。类似地,输出层中节点的取值就是第一层的加权和:

\begin{array}{l} y=W_{1,1}^{(2)} a_{1,1}+W_{2,1}^{(2)} a_{1,2}+W_{3,1}^{(2)} a_{3,1} \\ =0.41 \times 0.6+(-0.38) \times 0.1+0.46 \times(-0.2)=0.116 \end{array}

将输入x_1x_2组织成一个1*2的矩阵x=[x_1,x_2],而W^{(1)} 组织成一个2*3的矩阵

\begin{array}{l} W^{(1)}=\left(\begin{array}{l} W_{1,1}^{(1)} W_{1,2}^{(1)} W_{1,3}^{(1)} \\ W_{2,1}^{(1)} W_{2,2}^{(1)} W_{2,3}^{(1)} \end{array}\right) \\ a^{(1)}=\left[a_{11}, a_{12}, a_{13}\right] \\ =x W^{(1)} \\ =\left[x_{1}, x_{2}\right]\left(\begin{array}{l} W_{1,1}^{(1)} W_{1,2}^{(1)} W_{1,3}^{(1)} \\ W_{2,1}^{(1)} W_{2,2}^{(1)} W_{2,3}^{(1)} \end{array}\right) \\ =\left[W_{1,1}^{(1)} x_{1}+W_{2,1}^{(1)} x_{2}, W_{2,1}^{(1)} x_{1}+W_{2,2}^{(1)} x_{2}, W_{1,3}^{(1)} x_{1}+W_{2,3}^{(1)} x_{2}\right] \end{array}

 类似的输出层可以表示为:

[y]=a^{(1)} W^{(2)}=\left[a_{11}, a_{12}, a_{13}\right]\left(\begin{array}{c} W_{1,1}^{(2)} \\ W_{2,1}^{(2)} \\ W_{3,1}^{(2)} \end{array}\right)=\left[W_{1,1}^{(1)} a_{11}+W_{2,1}^{(2)} a_{12}+W_{3,1}^{(2)} a_{13}\right]

在tensorflow中可以用矩阵乘法来实现神经网络的前向传播算法:

代码语言:javascript
复制
a = tf.matmul(x ,w1)
y = tf.matmul(a ,w2)
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019年01月06日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档