机器学习实战(8):支持向量机(上)

Hello,大家好!我是MPIG2017级研究生李琪。今天给大家带来的机器学习算法是,支持向量机(SVM),这个算法被誉为机器学习中最难理解的算法,其中涉及到的公式和推导更是非常繁琐,这也成为各大公司考察前来应聘机器学习工程师的一个必考项目。今天我就来带大家用简单易懂的方法学会支持向量机。

在我之前呢,我的学姐,MPIG2016级研究生王亚蕊小姐姐已经对SVM的知识进行了详细讲解。

我们首先来看线性分类器的问题,对于下图这样一组数据我们用一个决策边界,可以完美地将其实现分类。

然而我们却往往会容易得到多种选择,如下图,下图中的分类器看起来都能对我们的数据进行分类,我们该如何选择呢。

这个时候我们引入了最大间隔的概念,让分类边界距离样本点的距离最大,这样的分类器我们认为是最优的。

经过一些转化,我们最终将问题转化成一个带有不等式约束的二次规划问题。接下来我们要做的,就是解决这样一个优化问题。

我们用拉格朗日对偶法解决,首先引入拉格朗日乘子,将问题的约束与目标方程写在一起,变成拉格朗日方程。

解决优化问题以后,为了使我们的模型更加稳定,我们要引入弹性变量来处理一下outliers的问题。

这样,我们对于线性数据,已经完成了SVM分类器的构造了,当遇到非线性数据的问题时,我们往往引入核函数来解决,关于核函数的详细讲解请看下回分解。

真正详细的学习,各位还是看看这个视频吧。

想获取本presentation的对应文稿和代码,可以点击如下链接下载:

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180708G0YIRG00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券