感知机算法分类原理学习笔记

1. 感知机模型

给定训练样本集

令

若存在超平面，使下面等式成立：

若某一样本满足超平面不等式：

则该样本为正样本；

若另一样本满足平面不等式：

为了简化该模型，我们使用向量x表示样本，向量w表示参数，并用sign函数表示不等式，则有：

函数sign(x)的含义为：

上述这一模型就是我们熟知的感知机模型，如下图：

2. 感知机模型的损失函数

若我们知道了感知机模型的超平面，我们定义误分类点到超平面的距离为该样本点的损失函数。

误分类点的含义为感知机模型错误分类的点，如下图：

误分类点满足下式：

误分类样本的损失函数为该样本点到超平面的距离：

我们发现，当分子参数 w 增加N倍时，分母参数的L2范数也会相应的增加N倍，因此误分类样本可以简化为：

损失函数为误分类点到超平面的距离之和：

3. 感知机模型损失函数的优化过程

由上节可知，损失函数为误分类点到超平面的距离之和：

损失函数相对于参数w的偏导数为：

梯度下降法更新模型参数：

即：

其中λ为学习率。

梯度下降法迭代过程中止条件：当参数 w 迭代过程中，没有任何的误分类点，则迭代结束。

4. 感知机模型的算法对偶形式

若样本容量为N，每一个样本的迭代次数为

，模型参数的初始值为0，由梯度下降法可得：

我们容易知道正确分类样本的迭代次数等于0。

令

有：

上式就是参数 w 的表达式。

对于某一个样本

，若：

则该样本为误分类点，需要用梯度下降法更新参数。

若：

则该样本为正确分类的点，不需要更新参数。

为了加快算法运行速度，我们首先计算每个样本间的Gram矩阵，在感知机对偶形式的内积计算时直接调用Gram矩阵的元素，节省了样本内积计算的时间。

5.感知机分类模型的缺点

感知机模型的超平面不是唯一的，超平面与误分类点的计算顺序、初始值以及学习率相关，如下两个超平面，都能使损失函数等于0。

分类模型肯定会有最佳的超平面，感知机模型不能得到最优超平面，支持向量机在感知机模型的基础上得到最优超平面，下节将介绍支持向量机。

参考：

https://www.cnblogs.com/pinard/p/6042320.html