对于一个特定的问题,可以产生不同的特征点,通过对问题参数的重新定义和对原有特征点的数学处理合并拆分,能够得到更加优秀的特征点。
对于更多更加常见的数学模型,其拟合往往是非线性关系的,这时候就需要考虑引用多项式来进行拟合,如:
(最小二乘法)
在微积分中,对于函数
,其局部最值往往是在
且
处取得。 因此,对于代价函数
,求
对每一个
的偏导数,令它们都为0,即:
称为正规方程(Regular expression)。正规方程提供了一种直接求出最小值的方法,而不需要依赖迭代进行一步一步地运算。
对于数据集
, 其中每一个
都是一个向量:
构建设计矩阵(Design matrix)
和值向量
将代价函数转化为矩阵方程的形式,再对其求导,令其等于0,得到代价函数取得最小值时的
:
对比梯度下降算法: 正规方程算法不需要学习率和迭代,但对大规模数量(万数量级以上)的特征点(n),工作效率十分低下。对于一些如分类算法等等更加复杂的算法,正规方程法并不适用于求它们在极值处的θ值。
在使用正规方程时,要注意的问题是,如果设计矩阵X不可逆(为奇异矩阵),正规方程会无法使用。
设计矩阵为奇异矩阵的常见情况:
)
当设计矩阵X不可逆时,应当尝试删除一些特征点,或者考虑正规化(Regularation)。 但是总体而言,矩阵X不可逆的情况是极少数的。