最小二乘支持向量回归机(LS-SVR)

前面连续的七篇文章已经详细的介绍了支持向量机在二分类中的公式推导，以及如何求解对偶问题和二次规划这个问题，分类的应用有很多，如电子邮箱将邮件进行垃圾邮件与正常邮件的分类，将大量的图片按图中的内容分类，等等。但是，显示中海油大量问题是不能仅依靠分类就能完成的，例如，股票价格的预测等世纪问题需要采用回归来解决。今天，将给出支持向量机在回归方面的应用，最小二乘支持向量机 Least square support vector regression, LS-SVR.

作为标准SVM 的改进，最小二乘支持向量机（Least squares support vector machine,LS-SVM）是在回答“How much can the SVM formulation be simplified without losing anyof its advantages?”问题的基础上由Sukyens 于1999 年提出。LS-SVM 在继承SVM 优点的同时，将误差的二范数代替SVM 的 不敏感损失函数，用等式约束代替SVM 的不等式约束，从而将求解SVM 的凸二次规划问题转化为线性方程组求解问题，降低了算法复杂度。但LS-SVM 模型求解过程在得到简化的同时，缺失了支持向量机拥有的鲁棒性以及稀疏性]。LS-SVM 的模型性能还受到很多因素的影响，例如样本数据预处理、模型超参数、核函数以及大贡献率支持向量选择等。针对LS-SVM 存在的问题，国内外学者提出了很多改良意见，主要包含如下几个重要方面：

1---LS-SVM 超参数优化方法研究

LS-SVM 优化问题的最终目的是得到优化模型参数，从而使LS-SVM 构建的线性决策函数不仅拥有良好的拟合性能，而且模型泛化能力强。为此，在确定核函数之后，LS-SVM 模型求解问题可归结为超参数（核函数参数，正则化参数）的选择问题。其中核参数对低维样本数据在映射空间中的分布复杂度有直接影响，而正则化参数则与模型对训练样本的拟合情况和模型的推广能力相关。因而，关于LS-SVM 超参数的优化问题已经受到国内外相关学者的广泛关注。首先将数据分为训练样本集和测试样本集，而训练集又通常被划分为模型建立集和模型检测集。最简单的超参数优化方法是网格寻优法，其原理是等间隔产生多组超参数组合，每个超参数组合即对应着一个网格点。然后根据所有网格点在模型建立集的基础上得到LS-SVM 模型，并对检测集样本进行预报，最后得到一组预报性能最佳的超参数组合。朱家元等[18]以网格寻优算法得到的最佳超参数为中心重新构建网络节点，实现多层动态自适应LS-SVM 超参数优化方法。李娜等人利用三步搜索法优化LS-SVM 模型超参数，建立拥有高精度的电力机车牵引电机模型。 超参数优化方法简便明了，但是其初始超参数的设置缺乏理论根据，完全依靠经验设置，从而增加了不必要的计算开销且容易陷入局部最优值。此外，全局优化搜索法对于初始值敏感，模型初始赋值将直接影响到算法的性能（稳健性、收敛性等）。

2---LS-SVM 鲁棒性研究

由于LS-SVM将误差平方项替换SVM的 松弛变量，使得异常值对LS-SVM模型确定产生巨大影响，LS-SVM鲁棒性较差。为了降低噪声数据对LS-SVM预测模型稳定性的影响，国内外学者进行了很多尝试。Suykens首先提出根据标准LS-SVM对所有样本数据的拟合误差大小进行加权。具体地，样本误差越大则权值越趋向于0；误差越小则表明该样本为噪声的几率越小，因此对应的权值越接近于1。据此，Suykens在2002年提出加权最小二乘支持向量机（Weighted least squares support vector machine, WLS-SVM）。

支持向量机是以结构风险最小化为建模基础的机器学习方法。SVM 以其良好的推广能力以及非线性处理优势，而被广泛应用于模式识别以及回归估计领域。但是支持向量机优化涉及到的凸二次规划问题通常求解效率低下、计算量大而不利于存储。Suykens 在借鉴SVM 优点的基础上，提出最小二乘支持向量机（Least Squares SupportVector Machine, LS-SVM。不同于传统SVM 模型，LS-SVM 模型对SVM 优化问题进行了两项改进，从而将凸二次规划求解问题转变为求解线性方程组的问题，LS-SVM 的算法复杂度得到降低。具体地，Suykens 等基于统计学习理论，将LS-SVM的回归问题转化为如下凸优化问题：

式中i e 为误差变量，正则化参数 用于平衡拟合精度和模型推广能力。比较优化目标函数，LS-SVM 相对标准SVM 回归问题的改进主要体现在两点：

①采用损失函数的平方项代替支持向量机的 -不敏感损失函数；

②将带有松弛变量的不等式约束替换为包含误差变量ie 的等式约束问题。高维特征空间中式的优化问题涉及复杂运算，计算量大。因此通常将式转化为其对偶问题，并引入Lagrange 乘子进行求解：

根据Wolf对偶定理，对上式各变量求偏导数：

上述方程组等价于如下的矩阵形式：

其中：

消去式中的变量w 和e ，得到线性方程组：

式中I 为单位矩阵，

而b 和 又常被称为模型参数。同样由Mercer 定理可知:

其中K 为对称正定的核函数，常用形式为高斯径向基（RBF）核函数:

可以得到新入样本x 的函数估计预测表达式：

其中核函数( , ) i K x x 与新的输入样本x 、建模数据i x 有关。

支持向量机以结构风险最小化为建模准则,追求模型拟合精度和模型推广能力的有

效平衡，同时SVM 凸二次规划问题在理论上保证存在唯一的全局最优解。作为SVM 的改进，LS-SVM 模型在得到简化的同时，存在如下几个问题：

① LS-SVM 回归模型正则化参数 和核参数（譬如RBF 的核宽度 ）的值未知；

② 当观测样本中包含噪声数据时，LS-SVM 对噪声的敏感性强于SVM 回归模型；

③ 缺失了SVM 模型固有的稀疏性特点；

④ 随着样本数目的增大，线性方程组的求解和存储将变得更加困难。