Soft Margin SVM

我们知道Hard Margin SVM的优化目标函数为：

这种可以解决一部分的情况，但是如果存在以下的情况：

红色和绿色的线哪一个更好呢？有一个绿色的方块离红色方块很近，如果按照上面的hard margin的方法很有可能找到的决策边界是红色的线。但是这样的决策边界，泛化能力可能存在问题。大多数绿色的点离红点是比较远的，而因为一个点，对决策边界造成了很大的影响，这么的点很可能是一个离群点甚至是错误的点，并不能代表一般情况。而绿色的决策边界线，虽然将其中一个点进行了错误的分类，但是在真实情况下预测的时候，可能会更好，这样的决策边界泛化能力会更好。

或者更极端的情况下，绿色的点在红色点中间，这样的话，用上面的方法根本就不可分了。所以需要一个存在一定容错的SVM。

因此我们对上面的条件进行限定，让我们的模型对训练集中的极端数据不那么敏感(容忍一定的错误，但是这个错误一定要最小)：

我们引入一个zeta，让这个决策边界可以在一定程度上上下移动，但是同时我们又限制了zeta和的大小。C是一个权重控制参数，它在使得||w||^2尽量大并且保证绝大多数数据样本点的函数间隔至少为1两个要求之间维持一个平衡。这其实是一种L1正则化。

与Hard Margin的对比：