机器学习策略——DeepLearning.AI课程总结

一、什么是ML策略

假设你正在训练一个分类器,你的系统已经达到了90%准确率,但是对于你的应用程序来说还不够好,此时你有很多的想法去继续改善你的系统:

  • 收集更多训练数据
  • 训练集的多样性不够,收集更多的具有多样性的实验数据和更多样化的反例集。
  • 使用梯度下降法训练更长的时间
  • 尝试一个不同的优化算法,例如Adam优化算法。
  • 尝试更大的神经网络或者更小的神经网络
  • 尝试dropout
  • 尝试L2正则化
  • 改变神经网络的结构:
    1. 修改激活函数
    2. 改变隐藏单元的数目

如果你使用了错误的方向,不仅会浪费大量的时间,而且不会有所改善.

二、正交化

正交性或正交性是一种系统设计属性,它确保修改指令或算法的组成部分不会对系统的其他组件产生或传播副作用。独立地验证算法变得更加容易,它减少了测试和开发的时间。

当一个受监督的学习系统在设计时,这四个假设必须是正确的和正交的。

Chain of assumptions in ML

  1. 成本函数在训练集上有好的表现(Fit training set well on cost function.)
    • 对于一些应用而言,这可能意味着要达到人类水平的表现
    • 如果它不合适,那么使用更大的神经网络或者切换到更好的优化算法可能会有所帮助。
  2. 成本函数在开发集上有好的表现(Fit dev set well on cost function.)
    • 如果不合适,规范化(Regularization)或使用更大的训练集可能会有所帮助
  3. 成本函数在测试集上有好的表现(Fit test set wel on cost function.)
    • 如果不合适,使用更大的开发集可能会有所帮助。
  4. 在实际系统中表现良好(Performs well in real world.)
    • 如果性能不好,开发测试集分布设置不正确,或者成本函数测量的尺度不正确.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

最强UNREAL(UNsupervised REinforcement and Auxiliary Learning)简介及代码

UNREAL(UNsupervised REinforcement and Auxiliary Learning)算法

10910
来自专栏PPV课数据科学社区

深度学习带你抠像表演

前情 回顾这些年机器学习的进展,我也一直想弄点真正的机器学习产品。 几个月前,我参加了超棒的Fast.ai深度学习课程之后,我好像就开窍了,我也有了机会:得益于...

34560
来自专栏AI研习社

用神经网络预测 2018 年美国中期选举

本文中,研究人员使用Python从网上爬取历史数据,并采用神经网络分析这些数据,然后搭建了一个预测模型,用来预测2018年各个地区众议院的中期选举结果。提供给模...

7420
来自专栏PPV课数据科学社区

关于机器学习,你需要知道的三件事!

关键词:MATLAB、机器学习、机器学习算法、 正文如下: 导读:MATLAB开发运营团队深度解析何为机器学习,什么时候使用机器学习,如何选择机器学习算法,MA...

37050
来自专栏机器学习实践二三事

Machine Learning基础入门

断断续续接触机器学习也差不多有1年多的时间了,论文看了一些,教程也看了一些,也动手写过一些东西,自认略微优点心得吧(大牛莫笑) 之前写的也很零散,所以这次就...

22090
来自专栏腾讯开源的专栏

【开源公告】腾讯 AI Lab 正式开源PocketFlow,让深度学习放入手机!

11月1日,腾讯AI Lab在南京举办的腾讯全球合作伙伴论坛上宣布正式开源“PocketFlow”项目, 该项目是一个自动化深度学习模型压缩与加速框架,整合多种...

15720
来自专栏新智元

【ICML2016】谷歌 DeepMind 论文下辑

【新智元导读】深度学习重要会议 ICML2016 接收谷歌 DeepMind 9篇论文,新智元系统整理,继上篇之后,本次邀请国家千人计划专家、平安科技数据平台部...

39550
来自专栏腾讯云人工智能

“猜画小歌”的一些细节和思考

"猜画小歌"用到的quickdraw模型本质上是一个分类模型,输入是笔画的点的坐标信息和每笔起始的标识信息,应用几个级联的一维卷积,再使用 BiLSTM 层并对...

4K30
来自专栏AI科技评论

开发 | 用深度学习技术,让你的眼睛可以控制电脑

本文为 AI 研习社编译的技术博客,原标题 Use your eyes and Deep Learning to command your computer —...

10410
来自专栏祝威廉

深度学习思考

大部分机器学习算法(包括深度学习),其实是在一个理想空间里(接下来我们会以三维空间为例子)寻找一个最大/最小值。三维空间是无限大的,在某个实际场景,假设我们有了...

9230

扫码关注云+社区

领取腾讯云代金券