DenseNet简介

大家好，又见面了，我是你们的朋友全栈君。

论文传送门：https://arxiv.org/pdf/1608.06993.pdf

CNN模型的发展十分火热，自LeNet提出以来，涌现了一批优秀的CNN模型。 LeNet是CNN的开山之作，标志着CNN真正的提出。2012年AlexNet夺得ILSVRC2012的冠军，深度学习大火。之后又涌现了VGG、GoogleNet、ResNet等，其中ResNet可谓是一个里程碑式的CNN模型。

本文介绍的DenseNet是CVPR 2017的best paper，在ResNet的基础上进行改进优化。

DenseNet和ResNet的核心思想都是创建一个跨层连接来连通网络的前后层，在DenseNet中作者为了最大化层级之间的信息流，将所有层两两进行连接，这也是DenseNet(Densely Connected Convolutional Networks)名字的意义所在，密集的网络连接。

DenseNet有多个优点：

大量的feature 被复用，这样只需要少量的卷积核，使得整个模型的参数数量减小。

可以加强feature的传递，减轻梯度消失的问题。

Dense block结构：

下图为一个Dense block的基础结构，可以看到，每一层的输入为前面所有的网络层。DenseNet的密集连接是存在于每一个Dense block内部的。

在这里插入图片描述

Dense block中第L层的输入和前面1到L-1层的输出都有关系，论文中公式表达为

在这里插入图片描述

其中[ ]表示concatenation即拼接操作，使用了非线性变换H，H为BN+ReLU+ Conv(3×3)的组合。

DenseNet网络结构：

下图为一个完整的DenseNet网络，包含多个Dense block以及transition layer。同一个Dense block中feature size的大小相同，通过transition layer实现下采样。

在这里插入图片描述

下图为DenseNet的网络参数详情：

在这里插入图片描述

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/187867.html原文链接：https://javaforall.cn