神经网络结构（下）

---大家圣诞快乐哈！

An analysis of modules

关于CNN模型：

• use ELU non-linearity without batchnorm or ReLU with it.

• apply a learned colorspace transformation of RGB.

• use the linear learning rate decay policy.

• use a sum of the average and max pooling layers.

• use mini-batch size around 128 or 256. If this is too bigfor your GPU, decrease the learning rate proportionally to the batch size.

• use fully-connected layers as convolutional and averagethe predictions for the final decision.

• when investing in increasing training set size, check ifa plateau has not been reach. • cleanliness of the datais more important then the size.

• if you cannot increase the input image size, reduce thestride in the con- sequent layers, it has roughly the same effect.

• if your network has a complex and highly optimizedarchitecture, like e.g. GoogLeNet, be careful with modifications.

Xception

Xception使用与ResNet和Inception V4一样有效的简单且更优雅的架构改进了初始化模块和架构。Xception模块如下：

该架构具有36个卷积级，使其与ResNet-34的相似性非常接近。 但是模型和代码与ResNet一样简单，并且比InceptionV4更容易理解。有趣的是，最近的Xception体系结构也受到我们对可分离卷积滤波器的工作的启发。

Other notable architectures

FractalNet使用一个递归架构，并没有在ImageNet上测试过，它是一个派生的或者更通用的ResNet。

The future

我们认为，制作神经网络架构对于深度学习领域的进步至关重要。 我们团队强烈建议仔细阅读并理解本文中的所有文章。但现在人们可能想知道为什么我们必须花费这么多时间来制定架构，为什么我们不使用数据来告诉我们应该使用什么，以及如何组合模块。还要注意，这里我们主要谈论计算机视觉的架构。类似的神经网络架构在其他领域发展，有趣的是研究所有其他任务的架构演变。