16篇论文、70多页PPT帮你优化深度学习模型，免费下载 | 资源

乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI

在没有改变计算复杂度的情况下，只是使用“调整学习率”和“修改特定卷积层的步幅大小”等方法，就将ResNet- 50在ImageNet上的top-1验证准确率从75.3%提高到79.29%。

这个成果来自于亚马逊近期发表的一篇论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》，作者为李沐带领的AWS研究团队。

论文摘要中表示，这篇论文的中的方法和结论也能适用于其他任务，比如目标检测、语义分割等等。

最近，Reddit机器学习版块有人发帖称，自己也整理了各种各样调整改善深度学习模型的方法，比亚马逊的论文中提到的方法还要多。

他将这些内容做成了PPT，一共70多页，涵盖了16篇经典论文和两篇博客文章。

目前，这个帖子在Reddit上的分数已经超过了150，GitHub上的Star也超过了400。

PPT里面讲的是啥？

这份PPT，主要有7个主题，分别是：

• 调整学习率
• 调整小批量的规模
• 调整优化器和权值衰减
• 调整特征和标签
• 调整特征和标签（mixup）
• 调整初始条件
• Shake-shake正则化

每一个主题，都基于相对前沿以及效果较好的论文来进行分析。比如调整学习率这一主题，作者就选择了《Cyclical Learning Rates for Training Neural Networks》等3篇论文。

这篇论文最后的修订日期为2017年4月4日，这篇论文的主要就是从学习率的角度来谈怎么训练深度学习网络，并提出了一种名为循环学习率（cyclical learning rates）的新方法。

PPT中，作者对论文中的方法与思路进行了梳理，并给出了注释。

最后，作者也对亚马逊的论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》进行了梳理与总结。

写这份资源的是谁？

PPT上的信息显示，这个PPT的作者是Krzysztof Kolasiński，来自一家名为FORNAX.ai的公司。

Linkedin上的介绍称，Krzysztof Kolasiński是这家公司的机器学习工程师，波兰人。他是一位物理学博士，专门研究计算物理学中的量子传输问题。

传送门：

PPT传送门：

https://github.com/kmkolasinski/deep-learning-notes/blob/master/seminars/2018-12-Improving-DL-with-tricks/Improving_deep_learning_models_with_bag_of_tricks.pptx