深度学习: NIN (Network in Network) 网络

Introduction

出自新加坡国立大学2014年的论文Network In Network。

该设计后来为 ResNet 和 Inception 等网络模型所借鉴。

Improvement

1. 先前CNN中 简单的 线性卷积层 [蓝框部分] 被替换为了 多层感知机（MLP，多层全连接层和非线性函数的组合） [绿框部分] ：

这里写图片描述

优点是：1. 提供了网络层间映射的一种新可能；2. 增加了网络卷积层的非线性能力。

1. 先前CNN中的 全连接层 被替换为了 全局池化层 (global average pooling)：

这里写图片描述

假设分类任务共有C个类别。 先前CNN中最后一层为特征图层数共计N的全连接层，要映射到C个类别上； 改为全局池化层后，最后一层为特征图层数共计C的全局池化层，恰好对应分类任务的C个类别，这样一来，就会有更好的可解释性了。

[1] 深度学习: global pooling (全局池化)