学了机器学习算法理论之后该干点啥？—ML Note 59

本文是吴恩达《机器学习》视频笔记第59篇，对应第6周第1个视频。

“Advice for applying machine learning:——Deciding what to try next”

01

—

笔记

通过5周的学习，如果跟得上进度的话，已经成为机器学习算法的半个专家了？为啥是半个？因为还不会用。这一周讲解如何使用机器学习。

学习了算法理论之后还要干点啥？

了解了许多算法的理论，该怎样理解并使用起来呢？在一个需要解决的问题上，貌似有好多算法可以使用，但是哪种算法是最合适的呢？很多时候，你可能会进行很多很多无谓的尝试，浪费宝贵的时间。

接下来的几个视频吴老师将介绍一些实用的选择算法的方法或路径，希望能够帮助我们节省算法选择的时间。

更具体的说，接下来的几个视频将帮助我们梳理清楚这样一个问题，我们在机器学习系统的设计或改进的工作中该遵循怎样的一条工作路径。

改进一个机器学习算法

还是以线性回归模型进行房价预测的问题为例。

假设我们已经完成了线性回归模型的训练，即是说我们找到了使得正则化后代价函数取得最小值的参数。

那如果我们兴冲冲地拿这个模型去预测房价，发现预测值和实际值偏差超乎想象该怎么办呢？该怎样改进我们的算法呢？

常见的，有以下几种可行的办法：

（1）寻找更多的训练样本，通过各种手段找到跟已有的训练样本中的数据不太一样的训练数据。但是，有时候这种办法也不是那么有效果的，后面会讲原因。

（2）使用更少的属性减少过拟合，就是使用更少的自变量。从备选的自变量中，小心翼翼地去掉一些可能和房价不相关的自变量。

（3）还可以尝试增加一些自变量，如果训练样本数量远远大于自变量个数的时候可以试着增加一些自变量。

（4）尝试增加一些多项式分量，好比一些属性x的平方，或几个分量的成绩。

（5）尝试增加或减少正则化项的步长\lambda。

上面的这些方法都有可能会使得模型更好，但是有时候如果盲目的在一个方法上死磕，往往会得不偿失。比如，你如果为了多点数据花费好几个月的时间采集到了更多数据，但是问题可能并不是出在训练样本不足上。所以，任性、随意的选择模型优化算法是不可取的。

幸运的是，有些简单的办法可以快速的告诉我们哪些办法在优化我们的模型的时候是没用的，就是所谓的机器学习诊断

什么是机器学习诊断？

机器学习诊断本质上是一种测试，通过测试你能够弄明白算法是不是真的起了作用。这项测试虽然耗时一点但是非常有必要的。

具体的诊断方法，将在后续的几个视频中讲解。

02

—

视频