关于CNN模型:
• use ELU non-linearity without batchnorm or ReLU with it.
• apply a learned colorspace transformation of RGB.
• use the linear learning rate decay policy.
• use a sum of the average and max pooling layers.
• use mini-batch size around 128 or 256. If this is too bigfor your GPU, decrease the learning rate proportionally to the batch size.
• use fully-connected layers as convolutional and averagethe predictions for the final decision.
• when investing in increasing training set size, check ifa plateau has not been reach. • cleanliness of the datais more important then the size.
• if you cannot increase the input image size, reduce thestride in the con- sequent layers, it has roughly the same effect.
• if your network has a complex and highly optimizedarchitecture, like e.g. GoogLeNet, be careful with modifications.
Xception使用与ResNet和Inception V4一样有效的简单且更优雅的架构改进了初始化模块和架构。Xception模块如下:
该架构具有36个卷积级,使其与ResNet-34的相似性非常接近。 但是模型和代码与ResNet一样简单,并且比InceptionV4更容易理解。有趣的是,最近的Xception体系结构也受到我们对可分离卷积滤波器的工作的启发。
FractalNet使用一个递归架构,并没有在ImageNet上测试过,它是一个派生的或者更通用的ResNet。
我们认为,制作神经网络架构对于深度学习领域的进步至关重要。 我们团队强烈建议仔细阅读并理解本文中的所有文章。但现在人们可能想知道为什么我们必须花费这么多时间来制定架构,为什么我们不使用数据来告诉我们应该使用什么,以及如何组合模块。还要注意,这里我们主要谈论计算机视觉的架构。类似的神经网络架构在其他领域发展,有趣的是研究所有其他任务的架构演变。