每天一个ml模型之——感知机

写作学习背景：

几天前，开始找工作，投了一家初创公司算法工程师，当时对技术主管（HR）说掌握基本的机器学习算法，然后技术主管(HR)问了一些关于机器学习方面的知识，一下子看到了自己的不足，被他问得很羞愧。痛定思痛，决定即日起，每天更新一篇机器学习算法，一来让自己能够好好学学算法，二来希望能给看这个系列的朋友带来一些帮助。

该系列的宗旨为：少公式，简洁化，掌握核心思想，面向对机器学习感兴趣的朋友。

ps：主要源自李航《统计学习方法》，水平所限，望大牛们批评指正。

感知机：二类分类的线性分类模型

输入空间（特征空间）：实例的特征向量

输出空间：y={+1，-1}

目标：求出将训练数据进行线性分割的超平面。

感知机函数：

f(x) = sign(w·x+b)

其中，w为权值变量，b为偏置，w·x表示w和x的内积

主要原理：

1.定义损失函数

w·x+b=0表示为超平面S，它把特征空间分为正、负两列。而找到这样的超平面，即确定感知机模型的参数w和b，这需要定义损失函数，并将损失函数极小化.

损失函数为：

其中M表示误分类点的集合

2.随机梯度下降法

利用随机梯度下降法求解损失函数的最优化问题。随机梯度下降法有原始形式和对偶形式

2.1感知机学习算法的原始形式

首先任意选取一个超平面（即选取初值w0和b0），然后利用梯度下降法不断极小化目标函数。

极小化过程不是一次使误分类点的集合中的所有点的梯度下降，而是一次随机选取一个误分类点使其梯度下降，直至训练集中没有误分类点。

2.2感知机学习算法的对偶形式

基本思想：将w和b表示为实例xi和标记yi的线性组合的形式

通过求解其系数α求得w和b.

今天的介绍就到这里，第一次使用微信公众号，第一次写作，敬请谅解。