前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >16篇论文、70多页PPT帮你优化深度学习模型,免费下载 | 资源

16篇论文、70多页PPT帮你优化深度学习模型,免费下载 | 资源

作者头像
量子位
发布2018-12-27 17:07:36
6220
发布2018-12-27 17:07:36
举报
文章被收录于专栏:量子位
乾明 发自 凹非寺 量子位 报道 | 公众号 QbitAI

在没有改变计算复杂度的情况下,只是使用“调整学习率”和“修改特定卷积层的步幅大小”等方法,就将ResNet- 50在ImageNet上的top-1验证准确率从75.3%提高到79.29%。

这个成果来自于亚马逊近期发表的一篇论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》,作者为李沐带领的AWS研究团队。

论文摘要中表示,这篇论文的中的方法和结论也能适用于其他任务,比如目标检测、语义分割等等。

最近,Reddit机器学习版块有人发帖称,自己也整理了各种各样调整改善深度学习模型的方法,比亚马逊的论文中提到的方法还要多。

他将这些内容做成了PPT,一共70多页,涵盖了16篇经典论文和两篇博客文章。

目前,这个帖子在Reddit上的分数已经超过了150,GitHub上的Star也超过了400。

PPT里面讲的是啥?

这份PPT,主要有7个主题,分别是:

  • 调整学习率
  • 调整小批量的规模
  • 调整优化器和权值衰减
  • 调整特征和标签
  • 调整特征和标签(mixup)
  • 调整初始条件
  • Shake-shake正则化

每一个主题,都基于相对前沿以及效果较好的论文来进行分析。比如调整学习率这一主题,作者就选择了《Cyclical Learning Rates for Training Neural Networks》等3篇论文。

这篇论文最后的修订日期为2017年4月4日,这篇论文的主要就是从学习率的角度来谈怎么训练深度学习网络,并提出了一种名为循环学习率(cyclical learning rates)的新方法。

PPT中,作者对论文中的方法与思路进行了梳理,并给出了注释。

最后,作者也对亚马逊的论文《Bag of Tricks for Image Classification with Convolutional Neural Networks》进行了梳理与总结。

写这份资源的是谁?

PPT上的信息显示,这个PPT的作者是Krzysztof Kolasiński,来自一家名为FORNAX.ai的公司。

Linkedin上的介绍称,Krzysztof Kolasiński是这家公司的机器学习工程师,波兰人。他是一位物理学博士,专门研究计算物理学中的量子传输问题。

传送门:

PPT传送门:

https://github.com/kmkolasinski/deep-learning-notes/blob/master/seminars/2018-12-Improving-DL-with-tricks/Improving_deep_learning_models_with_bag_of_tricks.pptx

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-12-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • PPT里面讲的是啥?
  • 写这份资源的是谁?
  • 传送门:
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档