感知机（Perceptron）

感知机是二类分类的线性分类模型。 感知机只在求出线性可分的分类超平面，通过梯度下降法对损失函数极小化建立感知机模型。 感知机1957年由Rosenblatt提出，是神经网络和支持向量机的基础

模型

输入空间是实例向量组成的空间，输出空间是-1和+1（正负两类）。建立如下函数：

f(x)=sign(\omega \cdot x+b)

ω:weightorweightvector

b:bias

策略

算法（原始形式）

感知机学习算法是误分类驱动的，具体采用随机梯度下降法。

收敛性

Novikoff定理告诉我们线性可分数据集经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。

对偶形式