专栏首页瓜大三哥李宏毅深度学习之Deep Learning全连接层

李宏毅深度学习之Deep Learning全连接层

2 全连接层

2.1神经网络概念

神经网络(神经网络主要包括输入,隐藏与输出层。其中,隐藏与输出的每个小圆圈表示一个神经元。

下图中红方框里面就是一个neuron(神经元或logisticregression)。

2.2全连接层网络

2.2.1神经元(Neural)概念

每一个神经元都有weight和bias(这是通过训练数据得到的),如下图所示:

一个神经元的输出表示如下图,上标l表示第几层,下标i表示l层的第i个神经元。将l层的神经元统一协作al

2.2.2权重(weight)概念

两个layer之间的神经元是两两相连的,而神经元与神经元之间是通过权重(weight)连接的,用wlij表示,上标l表示该权重连接了l-1层和l层,而下标表示从神经元jl-1层)到神经元il层)。

2.2.3偏差(bias)概念

偏差用bil表示,指的是第l层的第i个神经元偏差。把这些第l层的所有神经元偏差组合起来就是该层的偏差向量。

2.2.4激活函数的输入

Zil指的是第l层的第i个神经元激活函数的输入,Zl指的是第l层的激活函数的输入。Zil等于前一层中所有的神经元与对应权重的成绩,然后加上偏差。

相应的Zl的计算如下公式所示(用矩阵表示如下)

2.2.5输入输出关系

l层的神经元的输入输出的关系,即:al=sigma(zl)这是把zl里面的每一个元素放入激活函数,成为al

所以一个完整的全连接层的输入输出关系为

本文分享自微信公众号 - 瓜大三哥(xiguazai_tortoise),作者:xiguazaitortoise

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 竞争型神经网络

    自组织神经网络(self-Organization Mapping net,SOM)是基于无监督学习方法的神经网络的一种重要类型。自组织神经网络是神经网络最富有...

    瓜大三哥
  • 李宏毅深度学习之Deep Learning 卷积/池化

    ConvolutionKernel 具有的一个属性就是局部性,即它只关注局部特征,局部的程度取决于Convolution Kernel 的大小。比如用Sobel...

    瓜大三哥
  • yaffsfs.c

    1.int yaffs_write(int fd, const void *buf, unsigned int nbyte)如果一个需要写入文件大于一个chun...

    瓜大三哥
  • DeepMind 最新研究:通过删除神经元理解深度学习

    【新智元导读】深度神经网络由许多个体神经元组成,具有很高的复杂性。这种复杂性使其难懂,被认为是看不透的黑匣子。DeepMind最新发表针对对单一方向泛化的重要性...

    新智元
  • 惊喜!神经元比我们想象的复杂的多

    ? 深度学习或人工神经网络(ANN)能够模拟生物神经元的观点,是个很大的误解。ANN充其量能模仿一个1957年的单个神经元模型的卡通版本。任何声称深度学习的人...

    AiTechYun
  • 前沿 | IBM发明世界首个人造神经元,离人脑模拟更近一步

    受人类大脑运行方式的启发,IBM苏黎世研究中心制成了世界上第一个人造纳米级的随机相变神经元。并在其基础上构建了由500个该神经元组成的阵列,让该阵列模拟人类大脑...

    AI科技评论
  • DeepMind 最新研究:通过删除神经元理解深度学习!

    理解深度神经网络的运作机制对于帮助我们解释它们的决定,以及构建更强大的系统起到了至关重要的作用。例如,试想在不了解个体齿轮如何啮合的情况下去构建时钟会有多么的困...

    朱晓霞
  • 学界丨MIT重磅研究:基于人工神经网络,探索抑制神经元的生物学意义

    在近几年,人工神经网络——一种参照大脑运作模式而建成的计算模型——已经成为了最为炙手可热的人工智能系统,并且应用于从语音到图像的各个领域。 AI科技评论消息,M...

    AI科技评论
  • 世界首创人工神经元!Nature最新研究掀范式革命,可用于治疗多种疾病

    近期,科学家们发明了不仅表现得像生物神经元的人工神经元,而且该人工神经元还仅需要微处理器的十亿分之一的功率,因此非常适合用于医疗植入物和其他生物电子仪器。

    新智元
  • 学界 | DeepMind论文解读:通过删除神经元来了解深度学习

    AI科技评论按:深度神经网络由许多单独的神经元组成,它们以复杂且违反人直觉的方式组合起来,以解决各种具有挑战性的任务。这种复杂性一方面赋予神经网络神秘力量,另一...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券