感知机1957年由Rosenblatt
(罗森布拉特)提出,是神经网络与支持向量机的基础。
感知机定义:
特征实例,
表示实例类别
权重向量,
偏置
对应 n 维空间的一个超平面,
是其法向量,
为其截距,将点(特征向量)分位正负两类
到超平面
的距离:
,
是
的
,不考虑分母范数,错误的点
,取距离为正,则感知机的损失函数(经验风险函数)为:
损失函数的最优化问题:随机梯度下降法
步长(学习率)
,感知机模型
1.选取初值
2.在训练集中选取数据
3.如果
,
4.转到2,直到没有误分类点
算法收敛性证明:(略)
结论:
基本想法:将
表示成实例
和标记
的线性组合形式。
,
关于
的增量分别是
,这里
可表示成:
时,
表示第
个实例点由于误分类进行更新的次数,次数越多,意味着它距离分离超平面越近,很难正确分类,这样的实例对学习结果影响很大
目标:求
,感知机模型
,其中
4.转至2,直到没有误分数据