1. 线性拟合和二次拟合函数
最小二乘法本质上就是求一个事先定义一个函数，然后使用已知的采样点结果拟合函数的参数，使得所有采样点的均方误差最小。
即：
\varphi(x) = argmin\ \sum_{i}|\varphi(x_i) - y_i|^21. 线性拟合
我们假定拟合曲线为：
\varphi(x) = ax + b则有拟合误差为：
Q = \sum_{i}(ax_i+b-y_i)^2要使得拟合误差Q 最小，则我们有Q 对于参数a,b 的偏导均为0，因此，我们即有：
\left\{ \begin{aligned} \frac{\partial Q}{\partial a} &= \sum_i 2x_i(ax_i + b - y_i) = 0 \\ \frac{\partial Q}{\partial b} &=\sum_i 2(ax_i + b - y_i) = 0 \end{aligned} \right.可以解得：
\left\{ \begin{aligned} a &= \frac{n \cdot \sum_{i} x_iy_i - (\sum_i x_i)(\sum_i y_i)}{n \cdot \sum_i{x_i^2} - (\sum_i x_i)^2} \\ b &= \frac{1}{n} \sum_i y_i - \frac{1}{n} (\sum_i x_i) \cdot a \end{aligned} \right.2. 二次拟合函数
类似的，我们可以得到二次拟合函数的最小二乘法的结果。
定义拟合函数为：
\varphi(x) = ax^2 + bx + c则有拟合误差：
Q = \sum_i(ax_i^2 + bx_i + c)^2同样，我们可以解得，在极值条件下，有：
\left\{ \begin{aligned} \frac{\partial Q}{\partial a} &= \sum_i 2x_i^2(ax_i^2 + bx_i + c - y_i) = 0 \\ \frac{\partial Q}{\partial b} &=\sum_i 2x_i(ax_i^2 + bx_i + c - y_i) = 0 \\ \frac{\partial Q}{\partial c} &=\sum_i 2(ax_i^2 + bx_i + c - y_i) = 0 \end{aligned} \right.亦即：
\begin{pmatrix} \sum_i x_i^4 & \sum_i x_i^3 & \sum_i x_i^2 \\ \sum_i x_i^3 & \sum_i x_i^2 & \sum_i x_i \\ \sum_i x_i^2 & \sum_i x_i & n \end{pmatrix} \begin{pmatrix} a \\ b \\ c \end{pmatrix} = \begin{pmatrix} \sum_i x_i^2y_i \\ \sum_i x_iy_i \\ \sum_i y_i \end{pmatrix}可解得：
\begin{pmatrix} a \\ b \\ c \end{pmatrix} = \begin{pmatrix} \sum_i x_i^4 & \sum_i x_i^3 & \sum_i x_i^2 \\ \sum_i x_i^3 & \sum_i x_i^2 & \sum_i x_i \\ \sum_i x_i^2 & \sum_i x_i & n \end{pmatrix}^{-1} \cdot \begin{pmatrix} \sum_i x_i^2y_i \\ \sum_i x_iy_i \\ \sum_i y_i \end{pmatrix}类似的也可以推至n阶的情况，这里就不一一展开了。
3. a\cdot e^{bx}型函数形如a\cdot e^{bx} 的函数直接用最小二乘法倒是没法直接求解，不过可以通过一定的函数变换转换成n 阶函数形式，然后我们就可以仿照上述方式进行求解了。
比如这里的a\cdot e^{bx} 类型的函数，我们做函数变换，令z= ln(y) ，则有：
z = bx + ln(a)即可使用最小二乘法进行求解。
类似的，还可以有函数y = \frac{1}{ax+b} ，我们令z = \frac{1}{y} ，即可有：
z = ax + b2. 解矛盾方程组
书中这一小节事实上就是给前面最小二乘法的内容提供一些理论上的支持，没有啥更多的内容，因此，我们仅在这里摘录书中的定理如下：
定理3.1
(1) A 为m 行n 列的矩阵，b 为列向量，A^TAX = A^Tb 称为矛盾方程组AX = b 的法方程，法方程恒有解。
(2) X 是min||AX-b||_2^2 的解，当且仅当X 满足A^TAX = A^Tb ，即X 是法方程的解。
