最小二乘法拟合曲线的原理与方法

最小二乘法（又称最小平方法）是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘法原理

以简单的一元线性模型来解释最小二乘法，如果预测的变量是离散的，我们称其为分类，如果预测的变量是连续的，我们称其为回归。回归分析中，如果只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。

如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。对于二维空间线性是一条直线，对于三维空间线性是一个平面，对于多维空间线性是一个超平面。

函数模型：

，其中表示我们选取的模型得到的y的预测值，

则是真实值。使得所有的两者之差的平方和最小，即可认为是所有预测值偏离真实值的程度最小。

线性回归

线性回归是用于回归的，而不像Logistic回归是用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，结果为：

而在局部加权线性回归中，参数的计算表达式为:

由此可见局部加权线性回归是一个非参数模型，每次进行回归计算都要遍历训练样本至少一次。此方法的优点是实现和计算都简单，但是也存在着缺点：不能拟合非线性数据。

最小二乘法应用

交通发生预测通常有两种方法：回归分析法和聚类分析法。回归分析法是根据对因变量与一个或多个自变量的统计分析，建立因变量和自变量的关系，最简单的情况就是一元回归分析，一般式为：Y=α+βX式中Y是因变量，X是自变量，α和β是回归系数。

若用上述公式预测小区的交通生成，则以下标i标记所有变量。如果用它研究分区交通吸引，则以下标j标记所有变量。

1、，首先产生一个基于这个模型的离散点，然后加上一个服从N~（0,1）正态分布的随机噪声。得到了以下散点：

黄色的散点为加上噪声的数据，红线为的曲线。这里使用了一个简单的方法，使其可以转化成线性回归，做以下处理：对

等式两边取对数，得到，则可以根据（lny和lnx）的线性关系通过来算出来参数a和b。经过计算，得到参数

第一个即a，第二个即参数b，与真实结果a=0.5和b=3.456近似。再接着拟合的曲线，如下图所示，蓝色即为拟合的曲线：

最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小，最小二乘法通常用于曲线拟合。

圆的解析方程为：圆的最小二乘法拟合，拟合的目的是根据一组数据计算方程参数a，b，r值。公式推导和通常的最小二乘法拟合类似，基本过程如下：

1、数据点到圆距离的平方和表达式。

2、使上述表达式各变量的偏导数为零，列出线性方程组。

3、解线性方程组。