天秀之支持向量机(SVM)

支持向量机(Support Vector Machine,SVM)，在深度学习广泛应用之前，是最受欢迎的监督学习算法。其以强鲁棒性和非线性问题求解的能力倍受推崇。但是由于其发展较快，经过多次进化和改进，现阶段最成型的模型，尤其是一些规定的形式，使很多初学者很难理解它的思想。本篇有范君结合自身理解，尽力洞悉模型背后的创建过程，使学习平滑化。

直截了当的分类思想

定义最优划分

构建目标函数

求解最优模型

非线性问题处理-核函数

泛化能力提升

支持向量机 VS 逻辑回归

支持向量机的理论部分篇幅较大，公式较多，不过随着有范君娓娓道来，不知道是否为你平滑了学习曲线，在某些点上让你茅舍顿开？虽然本篇已经说了很多，但是学习完逻辑回归和支持向量机，避不开的是比较它们的优缺点或者异同点，这也是该领域面试必问题目，所以请再耐心这段总结。

首先对于支持向量机，我们定义了折页损失函数，如果将折页损失函数换为交叉熵损失函数，那么它与带了L2正则项的逻辑回归将几乎一致，这是第一点不同，损失函数不同。其次使用了非线性核函数的支持向量机具备了非线性划分的能力，逻辑回归则通过自变量变换的方式来获取非线性划分的能力，这是第二点不同(本质上核变换不就是自变量变换嘛)。第三点则是思考问题的思路不同，导致它们求解问题的方式不同，逻辑回归一般应用梯度下降的方法求解，支持向量机应用SMO求解拉格朗日乘子，进而求解最优划分曲线方程。最后就是支持向量的模型仅与几个支持向量相关，它对其他脏数据不敏感，但是其模型涉及距离计算，需要事先标准化。

基于以上这些不同，我们大概可以总结出各自的优缺点：支持向量机结果与几个支持向量有关，稳健；通过核变化处理，具有非线性划分能力；自带L2正则化，结合软间隔，泛化能力强！缺点就是大数据计算复杂太高，真的慢。逻辑回归训练简单，适应大数据，在线数据；结果就是概率，线性模型转化，可以给出敏感性分析，解释性好！缺点就是因为简单，所以相对没有那么准确喽。