专栏首页null的专栏深度学习算法原理——经典CNN结构之AlexNet

深度学习算法原理——经典CNN结构之AlexNet

论文地址:ImageNet Classification with Deep Convolutional Neural Networks

AlexNet卷积神经网络在CNN的发展过程中起着非常重要的作用,AlexNet是由加拿大多伦多大学的Alex Krizhevsky等人提出。

1、AlexNet的网络结构

AlexNet的网络结构如下图所示:

抛开两个GPU的结构不说,这主要是因为受当时的计算环境的影响。对于AlexNet的结构,从上面的图可以看出,AlexNet网络中包含5个卷积层和3个全连接层。

2、AlexNet网络结构的主要特点

2.1、ReLU激活函数

在神经网络中,使用的激活函数通常有:Sigmoid函数,Tanh函数。这两个激活函数属于饱和非线性(saturating nonlinearities),在训练的过程中会出现梯度弥散的现象(反向传播时梯度接近为0),在梯度下降法过程中比非饱和非线性的激活函数的训练速度慢,而Rectified Linear Units(ReLUs) 。

ReLu激活函数的具体形式为:

f(x)=max(0,x)f\left ( x \right )=max\left ( 0,x \right )f(x)=max(0,x)

其函数的图像如下图所示:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 利用Theano理解深度学习——Multilayer Perceptron

    一、多层感知机MLP 1、MLP概述 对于含有单个隐含层的多层感知机(single-hidden-layer Multi-Layer Perceptron, M...

    zhaozhiyong
  • 利用Theano理解深度学习——Multilayer Perceptron

    对于含有单个隐含层的多层感知机(single-hidden-layer Multi-Layer Perceptron, MLP),可以将其看成是一个特殊的Log...

    zhaozhiyong
  • 简单易学的机器学习算法——线性回归(2)

    一、基本线性回归模型的抽象     在基本的线性回归中(可见简单易学的机器学习算法——线性回归(1)),对于一个线性回归为题,我们得到一个线性方程组: ? 在上...

    zhaozhiyong
  • 聊聊Flux的compose与flatMap操作

    compose操作是将整个flux作为一个整体输入一次性转换,而flatMap是针对flux的每个item作为输入来进行转换。

    codecraft
  • Java synchronized 关键字,用法有道

    在Java并发系列的文章中,这个是第二篇文章。在前面的一篇文章中,我们学习了Java中的Executor池和Excutors的各种类别。

    挨踢小子部落阁
  • 【深度】华信咨询:2020年边缘计算产业前沿研究报告

    在数字经济的时代浪潮中,作为关键生产要素的数字技术的快速变革已成为新常态。正当人工智能开始崭露头角时,云计算的边缘化延伸趋势又成为了另一个新焦点。

    SDNLAB
  • python:对url api调用做简单负载均衡

    因为我的服务大部分部署在了单机多个连续的端口中(如svc2 8100-8130端口),所以可以简单的做均衡。如果是多机多端口。那就另当别论了。 代码相当简单

    超级大猪
  • Java WebSocket-1.基础实现

    悠扬前奏
  • 科学瞎想系列之一一二 NVH那些事(15)

    上一期讲了声波的一些传播特性,本期讲一讲声波的起源。众所周知,振动产生噪声,也就是说声波是由振动引起的,那么自然就会提出一个问题——振动和噪声的关系问题。即在介...

    标准答案
  • 原 Mac下为树莓派(Raspbian)安

    霡霂

扫码关注云+社区

领取腾讯云代金券