机器学习实战（8）：支持向量机（上）

Hello，大家好！我是MPIG2017级研究生李琪。今天给大家带来的机器学习算法是，支持向量机（SVM），这个算法被誉为机器学习中最难理解的算法，其中涉及到的公式和推导更是非常繁琐，这也成为各大公司考察前来应聘机器学习工程师的一个必考项目。今天我就来带大家用简单易懂的方法学会支持向量机。

在我之前呢，我的学姐，MPIG2016级研究生王亚蕊小姐姐已经对SVM的知识进行了详细讲解。

我们首先来看线性分类器的问题，对于下图这样一组数据我们用一个决策边界，可以完美地将其实现分类。

然而我们却往往会容易得到多种选择，如下图，下图中的分类器看起来都能对我们的数据进行分类，我们该如何选择呢。

这个时候我们引入了最大间隔的概念，让分类边界距离样本点的距离最大，这样的分类器我们认为是最优的。

经过一些转化，我们最终将问题转化成一个带有不等式约束的二次规划问题。接下来我们要做的，就是解决这样一个优化问题。

我们用拉格朗日对偶法解决，首先引入拉格朗日乘子，将问题的约束与目标方程写在一起，变成拉格朗日方程。

解决优化问题以后，为了使我们的模型更加稳定，我们要引入弹性变量来处理一下outliers的问题。

这样，我们对于线性数据，已经完成了SVM分类器的构造了，当遇到非线性数据的问题时，我们往往引入核函数来解决，关于核函数的详细讲解请看下回分解。

真正详细的学习，各位还是看看这个视频吧。

想获取本presentation的对应文稿和代码，可以点击如下链接下载：