吴恩达机器学习笔记25-正规方程求解法碰到不可逆怎么办？

本文是吴恩达《机器学习》视频笔记第25篇，对应第2周第7个视频。

“Linear Regression with multiple variables——Normal equation and non-invertibility”

01

—

笔记

本次视频的内容是选学的，这种不可逆的现象以后可能会碰到，但是你现在不懂也不影响后续的学习。

上周我们用正规方程计算模型最优参数的时候，是这样的：

上图中参数的计算式子里有个求逆矩阵的，但是在第一周的线性代数基础里我们学过并不是所有的矩阵都是可逆的，那如果我们的

不可逆咋办？

1. 首先，这种不可逆的情况比较少发生；
2. 其次，即便不可逆也可以在Octave中用pinv函数求得我们想要的解（伪逆）。

那不可逆到底是什么原因造成的呢？背后的原理比较复杂，这里只能给出一些直观的理解。

常见的原因有两种：

（1）出于某些原因，我们在学习问题中包含了重复的特征（还记得前面选特征的笔记么？）。比如，前面我们卖房子的时候，如果选了平方英尺为单位的面积作为x1，以平方米为单位的面积作为x2，这样就会造成

(X^TX)不可逆。

（2）特征太多了，具体来说当特征的数量大于等于训练样本的数量的时候。这个时候就要想办法删除一些特征，或者配置一些参数，具体做法在本课程的后面还会讲到。

总结一下：（1）首先看是不是有本质上重复的特征，如果有就删除掉；（2）看是不是特征数量多于训练样本的数量，如果是就要想办法删除一些或者使用正规化。