SVM番外篇

敬请关注人工智能AI之机器学习公众平台！

人工智能AI

AI让机器智慧起来，让你的生活便捷起来

开篇第四讲

SVM番外篇

1

传统的SVM

传统支持向量机算法的核心思想是在给定的训练数据中寻求一个最优决策超平面将两类样本正确分类并使得分类的间隔 (Margin) 最大。如下图所示，其中S为最优分类平面，S1与S2间距为分类间隔。

而最经典的SVM只能进行数据二分类，且分类结果只能以“是”或“否”的形式给出，这就限制了SVM的发展，有些时候我们做机器学习，不仅希望model给出分类结果，还想得到某类测试数据属于某种类别的概率大小。

2

SVM后验概率的引入

幸运地是，Wahba和Platt等人很早就对此类问题提出了解决的方法，对SVM的输出引入了后验概率，可以通过样本数据获得识别概率。

3

sigmoid函数

要引入后验概率，不得不说明一个很牛逼的函数，它就是sigmoid函数，函数形式如下：

它可以把定义域内的全部自变量x映射到【0,1】区间，根据这个思路，就可以对SVM引入后验概率了。其中sigmoid函数图形如下所示：

4

后验概率引入方法

SVM的标准输出公式如下：

通过以上公式只能给出样本所属的类型即+1或-1，我们可以用sigmoid函数将传统SVM分类结果映射到[0,1]之间的概率上，具体公式如下：

5

总结

通过以上步骤就可以对SVM引入后验概率了，这样model就可以通过训练样本数据得到测试集数据属于某分类的概率了，下一节继续讲解SVM，分析一下为什么引入sigmoid函数就可以得到后验概率，以及得到的概率为何可信，即为何具有较高的置信度。