《统计学习方法》极简笔记P2：感知机数学推导

感知机模型

输入空间是

,输出空间是

感知机定义为：

感知机学习策略

输入空间任一点

到超平面S的距离：

误分类数据

,有

误分类点

到超平面S的距离

误分类点集合M,所有误分类点到超平面S的距离

由此，感知机损失函数定义为

感知机学习算法（原始形式）

输入：训练数据集

,

,学习率

输出：w,b;感知机模型

(1)选取初值

,

(2)训练集选取

(3)IF

(4)转至(2),直到没有误分类点。

另：感知机算法是收敛的，在训练数据及上的误分类次数k满足

感知机学习算法（对偶形式）

由原始形式

进行n次,w,b关于

增量分别为

和

记

,最后学习到的w,b表示为

输入：训练数据集

,

,学习率

输出：a,b;感知机模型

其中

(1)

;

(2)训练集选取

(3)IF

(4)转至(2),直到没有误分类点。 记Gram矩阵