最小二乘支持向量回归机(LS-SVR)

前面连续的七篇文章已经详细的介绍了支持向量机在二分类中的公式推导,以及如何求解对偶问题和二次规划这个问题,分类的应用有很多,如电子邮箱将邮件进行垃圾邮件与正常邮件的分类,将大量的图片按图中的内容分类,等等。但是,显示中海油大量问题是不能仅依靠分类就能完成的,例如,股票价格的预测等世纪问题需要采用回归来解决。今天,将给出支持向量机在回归方面的应用,最小二乘支持向量机 Least square support vector regression, LS-SVR.

作为标准SVM 的改进,最小二乘支持向量机(Least squares support vector machine,LS-SVM)是在回答“How much can the SVM formulation be simplified without losing anyof its advantages?”问题的基础上由Sukyens 于1999 年提出。LS-SVM 在继承SVM 优点的同时,将误差的二范数代替SVM 的 不敏感损失函数,用等式约束代替SVM 的不等式约束,从而将求解SVM 的凸二次规划问题转化为线性方程组求解问题,降低了算法复杂度。但LS-SVM 模型求解过程在得到简化的同时,缺失了支持向量机拥有的鲁棒性以及稀疏性]。LS-SVM 的模型性能还受到很多因素的影响,例如样本数据预处理、模型超参数、核函数以及大贡献率支持向量选择等。针对LS-SVM 存在的问题,国内外学者提出了很多改良意见,主要包含如下几个重要方面:

1---LS-SVM 超参数优化方法研究

LS-SVM 优化问题的最终目的是得到优化模型参数,从而使LS-SVM 构建的线性决策函数不仅拥有良好的拟合性能,而且模型泛化能力强。为此,在确定核函数之后,LS-SVM 模型求解问题可归结为超参数(核函数参数,正则化参数)的选择问题。其中核参数对低维样本数据在映射空间中的分布复杂度有直接影响,而正则化参数则与模型对训练样本的拟合情况和模型的推广能力相关。因而,关于LS-SVM 超参数的优化问题已经受到国内外相关学者的广泛关注。首先将数据分为训练样本集和测试样本集,而训练集又通常被划分为模型建立集和模型检测集。最简单的超参数优化方法是网格寻优法,其原理是等间隔产生多组超参数组合,每个超参数组合即对应着一个网格点。然后根据所有网格点在模型建立集的基础上得到LS-SVM 模型,并对检测集样本进行预报,最后得到一组预报性能最佳的超参数组合。朱家元等[18]以网格寻优算法得到的最佳超参数为中心重新构建网络节点,实现多层动态自适应LS-SVM 超参数优化方法。李娜等人利用三步搜索法优化LS-SVM 模型超参数,建立拥有高精度的电力机车牵引电机模型。 超参数优化方法简便明了,但是其初始超参数的设置缺乏理论根据,完全依靠经验设置,从而增加了不必要的计算开销且容易陷入局部最优值。此外,全局优化搜索法对于初始值敏感,模型初始赋值将直接影响到算法的性能(稳健性、收敛性等)。

2---LS-SVM 鲁棒性研究

由于LS-SVM将误差平方项替换SVM的 松弛变量,使得异常值对LS-SVM模型确定产生巨大影响,LS-SVM鲁棒性较差。为了降低噪声数据对LS-SVM预测模型稳定性的影响,国内外学者进行了很多尝试。Suykens首先提出根据标准LS-SVM对所有样本数据的拟合误差大小进行加权。具体地,样本误差越大则权值越趋向于0;误差越小则表明该样本为噪声的几率越小,因此对应的权值越接近于1。据此,Suykens在2002年提出加权最小二乘支持向量机(Weighted least squares support vector machine, WLS-SVM)。

支持向量机是以结构风险最小化为建模基础的机器学习方法。SVM 以其良好的推广能力以及非线性处理优势,而被广泛应用于模式识别以及回归估计领域。但是支持向量机优化涉及到的凸二次规划问题通常求解效率低下、计算量大而不利于存储。Suykens 在借鉴SVM 优点的基础上,提出最小二乘支持向量机(Least Squares SupportVector Machine, LS-SVM。不同于传统SVM 模型,LS-SVM 模型对SVM 优化问题进行了两项改进,从而将凸二次规划求解问题转变为求解线性方程组的问题,LS-SVM 的算法复杂度得到降低。具体地,Suykens 等基于统计学习理论,将LS-SVM的回归问题转化为如下凸优化问题:

式中i e 为误差变量,正则化参数 用于平衡拟合精度和模型推广能力。比较优化目标函数,LS-SVM 相对标准SVM 回归问题的改进主要体现在两点:

①采用损失函数的平方项代替支持向量机的 -不敏感损失函数;

②将带有松弛变量的不等式约束替换为包含误差变量ie 的等式约束问题。高维特征空间中式的优化问题涉及复杂运算,计算量大。因此通常将式转化为其对偶问题,并引入Lagrange 乘子进行求解:

根据Wolf对偶定理,对上式各变量求偏导数:

上述方程组等价于如下的矩阵形式:

其中:

消去式中的变量w 和e ,得到线性方程组:

式中I 为单位矩阵,

而b 和 又常被称为模型参数。同样由Mercer 定理可知:

其中K 为对称正定的核函数,常用形式为高斯径向基(RBF)核函数:

可以得到新入样本x 的函数估计预测表达式:

其中核函数( , ) i K x x 与新的输入样本x 、建模数据i x 有关。

支持向量机以结构风险最小化为建模准则,追求模型拟合精度和模型推广能力的有

效平衡,同时SVM 凸二次规划问题在理论上保证存在唯一的全局最优解。作为SVM 的改进,LS-SVM 模型在得到简化的同时,存在如下几个问题:

① LS-SVM 回归模型正则化参数 和核参数(譬如RBF 的核宽度 )的值未知;

② 当观测样本中包含噪声数据时,LS-SVM 对噪声的敏感性强于SVM 回归模型;

③ 缺失了SVM 模型固有的稀疏性特点;

④ 随着样本数目的增大,线性方程组的求解和存储将变得更加困难。

原文发布于微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文发表时间:2016-05-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PaddlePaddle

激活函数

深度学习基础理论-CNN篇 激活函数 ? 激活函数(activation function)层又称非线性映射层,顾名思义,激活函数的引入为的是增加整个网络的...

2949
来自专栏老秦求学

Deep Learning Tutorial 李宏毅(一)深度学习介绍

大纲 深度学习介绍 深度学习训练的技巧 神经网络的变体 展望 深度学习介绍 深度学习介绍 深度学习属于机器学习的一种。介绍深度学习之前,我们先大致了解一下机器学...

44810
来自专栏SIGAI学习与实践平台

理解AdaBoost算法

与随机森林一样,Boosting算法也是一种集成学习算法,随机森林和集成学习在SIGAI之前的公众号文章“随机森林概述”中已经介绍。Boosting的分类器由多...

874
来自专栏SIGAI学习与实践平台

用一句话总结常用的机器学习算法

浓缩就是精华。想要把书写厚很容易,想要写薄却非常难。现在已经有这么多经典的机器学习算法,如果能抓住它们的核心本质,无论是对于理解还是对于记忆都有很大的帮助,还能...

2029
来自专栏IT派

机器学习面试题目总结

如果你觉得好的话,不妨分享到朋友圈。 1.机器学习中特征的理解 def:特征选择和降维 特征选择:原有特征选择出子集,不改变原来的特征空间 降维:将原有的特征...

4375
来自专栏机器学习算法工程师

机器学习(一)集成学习

1. 关于集成学习的概念   集成学习是机器学习中一个非常重要且热门的分支,是用多个弱分类器构成一个强分类器,其哲学思想是“三个臭皮匠赛过诸葛亮”。一般的弱分类...

3448
来自专栏李智的专栏

PRML笔记

其中,除以NN让我们能够以相同的基础对比不同大小的数据集,平方根确保了ERMSE_{RMS}与目标变量tt使用相同的规模和单位进行度量。

902
来自专栏AI科技大本营的专栏

深度 | 机器学习中的模型评价、模型选择及算法选择

作者:Sebastian Raschka 翻译:reason_W 编辑:周翔 简介 正确使用模型评估、模型选择和算法选择技术无论是对机器学习学术研究还是工业场景...

6044
来自专栏SIGAI学习与实践平台

理解AdaBoost算法

与随机森林一样,Boosting算法也是一种集成学习算法,随机森林和集成学习在SIGAI之前的公众号文章“随机森林概述”中已经介绍。Boosting的分类器由多...

3560
来自专栏数据科学与人工智能

【机器学习】参数和非参数机器学习算法

什么是参数机器学习算法并且它与非参数机器学习算法有什么不同? 本文中你将了解到参数和非参数机器学习算法的区别。 让我们开始吧。 ? 学习函数 机器学习可以总结...

3545

扫码关注云+社区

领取腾讯云代金券