支持向量机（SVM）

支持向量机（Support Vector Machine，SVM）是一种用于分类问题的监督算法。主要用于二分类和多分类问题。其基本思想是找到一个超平面，能够将不同类别的样本点尽可能地分开，并使得离超平面最近的样本点尽可能远离超平面，从而实现较好的分类效果。

SVM的关键是找到一个最优的超平面，这个超平面可以通过使得最靠近超平面的样本点之间的间隔最大化来定义。这些最靠近超平面的样本点被称为支持向量。SVM的优化目标可以表示为一个凸二次规划问题，可以通过求解对应的拉格朗日函数来得到最优解。

SVM除了能够处理线性可分离的问题外，还可以通过核函数的引入处理线性不可分的问题，将样本映射到高维空间，从而使得在高维空间中变得线性可分。SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器。同时，SVM可以通过核方法进行非线性分类，是常见的核学习方法之一。常见的核函数包括线性核、多项式核、高斯核等。

超平面与最近的类点之间的距离称为边距。最优超平面具有最大的边界，可以对点进行分类，从而使最近的数据点与这两个类之间的距离最大化。

例如，H1 没有将这两个类分开。但 H2 有，不过只有很小的边距。而 H3 以最大的边距将它们分开了。

SVM是一种常见的监督学习算法，具有很好的泛化能力和较高的分类准确率。在实际应用中，SVM广泛用于文本分类、图像识别、生物信息学等领域。