前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习之开启神经网络之旅

深度学习之开启神经网络之旅

作者头像
李小白是一只喵
发布2020-04-23 15:27:54
4040
发布2020-04-23 15:27:54
举报
文章被收录于专栏:算法微时光

目录

神经元

神经元是神经网络中的一个重要概念。

可以把这个神经元看作感知器模型:

这是一个特殊的有向图,θ称为权重,x0称为偏置项,函数f是激活函数。在感知器模型中,激活函数是sign;在逻辑回归中,激活函数是sigmoid。

神经网络的基本组成

单个神经元模型和感知器模型没什么区别.多个神经元组合变成了神经网络.

上图是一个三层神经网络,分为输入层、隐藏层和输出层。

神经网络可以有多个隐藏层,每一层都会计算出更复杂的特征,但只有一个输入层和一个输出层.

层:深度学习的基础组件

层是一个数据处理模块,将一个或多个输入张量转换为一个或多个输出张量。

模型:层构成的网络

深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠,将单一输入映射为单一输出。

一些常见的网络拓扑结构如下:

  1. 双分支(two-branch)网络
  2. 多头(multihead)网络
  3. Inception 模块

选择正确的网络架构更像是一门艺术而不是科学。

损失函数与优化器:配置学习过程的关键

一旦确定了网络架构,还需要选择以下两个参数: 1.损失函数(目标函数)——在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。 2.优化器——决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降(SGD)的某个变体

损失函数(激活函数)

激活函数的作用是给神经网络加入一些非线性因素,使得神经网络更好地解决较为复杂的问题。

常见的激活函数是sigmoid函数.

传统神经网络中最常用的两个激活函数,Sigmoid系(Logistic-Sigmoid、Tanh-Sigmoid)被视为神经网络的核心所在.

Relu函数为现在深度学习使用比较广泛的激活函数,相比前面两个,其优点在于计算简单,导数简单,收敛快,单侧抑制 ,相对宽阔的兴奋边界 ,稀疏激活性;缺点在于在训练的时候,网络很脆弱,很容易出现很多神经元值为0,从而再也训练不动.

参考

书籍<<Python深度学习 >> ML(5)——神经网络1(神经元模型与激活函数)

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 目录
  • 神经元
  • 神经网络的基本组成
    • 层:深度学习的基础组件
      • 模型:层构成的网络
        • 损失函数与优化器:配置学习过程的关键
        • 参考
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档