【李宏毅机器学习公开课】Regression

machine learning 有三个步骤，step 1 是选择 a set of function, 即选择一个 model，step 2 是评价goodness of function，step 3 是选出 best function。 regression 的例子有道琼斯指数预测、自动驾驶中的方向盘角度预测，以及推荐系统中购买可能性的预测。课程中的例子是预测宝可梦进化后的CP值。 一只宝可梦可由5个参数表示，x=(x_cp, x_s, x_hp, x_w, x_h)。我们在选择 model 的时候先选择linear model。接下来评价goodness of function ，它类似于函数的函数，我们输入一个函数，输出的是how bad it is，这就需要定义一个loss function。在所选的model中，随着参数的不同，有着无数个function（即，model确定之后，function是由参数所决定的），每个function都有其loss，选择best function即是选择loss最小的function（参数），求解最优参数的方法可以是gradient descent。 gradient descent 的步骤是：先选择参数的初始值，再向损失函数对参数的负梯度方向迭代更新，learning rate控制步子大小、学习速度。梯度方向是损失函数等高线的法线方向。 gradient descent 可能使参数停在损失函数的局部最小值、导数为0的点、或者导数极小的点处。线性回归中不必担心局部最小值的问题，损失函数是凸的。 在得到best function之后，我们真正在意的是它在testing data上的表现。选择不同的model，会得到不同 的best function，它们在testing data 上有不同表现。复杂模型的model space涵盖了简单模型的model space，因此在training data上的错误率更小，但并不意味着在testing data 上错误率更小。模型太复杂会出现overfitting。