支持向量机(Support Vector Machine)学习

支持向量机(SVM-Support Vector Machine):

定义

1.SVM是一种分类算法,是一种二类分类模型,用于解决分类和回归问题。通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。

i.e.给定一个包含正例和反例的样本集合,svm的目的是寻找一个超平面来对样本进行分割,把样本中的正例面和反例面分开,但不是简单的分开,原则是使正例和反例之间的间隔最大,鲁棒性最好。

2.基本公式:在样本空间中,划分超平面的线性方程:

样本空间中任意点x到超平面(w,b)距离为

假设正确分类,

“间隔”为

所以,现在的目标是求得“最大间隔”

这就是SVM的基本型。

3.求“最大间隔”过程中的问题转化(转换成对偶问题)

最大 -> 最小 -> 凸二次规划|拉格朗日乘子法

线性划分 -> 非线性划分

1.问题

之前的讨论是假设样本是线性可分的,然而现实生活任务中,原始样本空间也许并不存在一个能正确划分两类样本的超平面。(如“异或问题”),对于这样的问题,可以将原始样本空间映射到一个更高维的特征空间。(Fortunately,如果原始空间是有限集,那么一定存在一个高维特征空间是样本可分。)

2.解决方案

映射后求解“最大间隔”的解

3.涉及到的问题

在求解过程中涉及计算样本Xi与Xi映射到特征空间之后的内积。由于特征空间维数可能很高,甚至可能是无穷维,因此直接计算内积通常是困难的,为了避开这个问题,设想这样一个函数-核函数

求解后得到

4.常用的核函数

软间隔与正则化

软间隔:现实任务中往往很难确定合适的核函数使训练集在特征空间中线性可分,即使恰好找到了某个核函数使训练集在特征空间中线性可分,也很难判定这个貌似线性可分的结果不是由于过拟合所造成的。

解决该问题的一个方法是允许svm在一些样本上出错。如

也就是在求解最大化间隔时,同时使不满足约束的样本尽可能少。

三种常用的替代损失函数:

共性:

支持向量回归(Support Vector Regression)

给定样本D={(x1,y1),(x2,y2),…},希望学得一个回归模型,使得f(x)与y尽可能接近,w和b是待确定参数。 传统回归模型通常直接基于模型输出f(x)与真实输出y之间的差别来计算损失,当且仅当f(x)与y完全相同时,损失才为0.与次不同,SVR假设我们能容忍f(x)与y之间最多有e的偏差,小于等于e的都算0误差。SVR问题形式化为

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【风格化+GAN】感知对抗网络 PAN,一个框架搞定多种图像转换

【新智元导读】pix2pix 又有更新:悉尼大学的 Chaoyue Wang 等人受生成对抗网络(GAN)启发,在已有的感知损失基础上,提出了感知对抗网络(Pe...

3777
来自专栏iOSDevLog

人工智能-机器学习总结

9227
来自专栏专知

【论文】所见所想所真,对抗学习GAN提升跨模态检索效果!阿里巴巴AI Labs等团队最新工作

【导读】近日,新加坡南洋理工大学、美国莱斯大学和阿里巴巴AI Labs联合提出了一种采用生成模型(Generative Models)来提升跨模态检索效果的方法...

5898
来自专栏机器之心

深度 | 用于图像分割的卷积神经网络:从R-CNN到Mark R-CNN

选自Athelas 作者:Dhruv Parthasarathy 机器之心编译 参与:王宇欣、hustcxy、黄小天 卷积神经网络(CNN)的作用远不止分类那么...

3686
来自专栏专知

Facebook FAIR实验室田渊栋等人最新论文:别担心深度网络中的虚假局部极小值

【导读】近日,Facebook FAIR实验室、南加州大学与卡耐基梅隆大学提出《Gradient Descent Learns One-hidden-layer...

3405
来自专栏PaddlePaddle

激活函数

深度学习基础理论-CNN篇 激活函数 ? 激活函数(activation function)层又称非线性映射层,顾名思义,激活函数的引入为的是增加整个网络的...

2939
来自专栏机器学习算法与Python学习

机器学习(19)之支持向量回归机

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 前言 机器学习(15)之支持向量机原...

3675
来自专栏iOSDevLog

人工智能-深度学习

1612
来自专栏机器学习算法与Python学习

最小二乘支持向量回归机(LS-SVR)

前面连续的七篇文章已经详细的介绍了支持向量机在二分类中的公式推导,以及如何求解对偶问题和二次规划这个问题,分类的应用有很多,如电子邮箱将邮件进行垃圾邮件与正常邮...

6869
来自专栏SIGAI学习与实践平台

用一句话总结常用的机器学习算法

浓缩就是精华。想要把书写厚很容易,想要写薄却非常难。现在已经有这么多经典的机器学习算法,如果能抓住它们的核心本质,无论是对于理解还是对于记忆都有很大的帮助,还能...

993

扫码关注云+社区

领取腾讯云代金券