通俗解释优化的线性感知机算法:Pocket PLA

AI有道

一个有情怀的公众号

我们详细介绍了线性感知机算法模型,并使用pyhon实例,验证了PLA的实际分类效果。下图是PLA实际的分类效果:

但是,文章最后我们提出了一个疑问,就是PLA只能解决线性可分的问题。对于数据本身不是线性可分的情况,又该如何解决呢?下面,我们就将对PLA进行优化,以解决更一般的线性不可分问题。

1

Pocket PLA是什么

首先,我们来看一下线性不可分的例子:

如上图所示,正负样本线性不可分,无法使用PLA算法进行分类,这时候需要对PLA进行优化。优化后的PCA的基本做法很简单,就是如果迭代更新后分类错误样本比前一次少,则更新权重系数 w ;没有减少则保持当前权重系数 w 不变。也就是说,可以把条件放松,即不苛求每个点都分类正确,而是容忍有错误点,取错误点的个数最少时的权重系数 w 。通常在有限的迭代次数里,都能保证得到最佳的分类线。

这种算法也被称为「口袋PLA」Pocket PLA。怎么理解呢?就好像我们在搜寻最佳分类直线的时候,随机选择错误点修正,修正后的直线放在口袋里,暂时作为最佳分类线。然后如果还有错误点,继续随机选择某个错误点修正,修正后的直线与口袋里的分类线比较,把分类错误点较少的分类线放入口袋。一直到迭代次数结束,这时候放在口袋里的一定是最佳分类线,虽然可能还有错误点存在,但已经是最少的了。

2

数据准备

该数据集包含了100个样本,正负样本各50,特征维度为2。

下面我们在二维平面上绘出正负样本的分布情况。

很明显,从图中可以看出,正类和负类样本并不是线性可分的。这时候,我们就需要使用Pocket PLA。

3

Pocket PLA代码实现

首先分别对两个特征进行归一化处理,即:

接下来对预测直线进行初始化,包括权重 w 初始化:

整个迭代训练过程如下:

其中,迭代次数为100次,每次迭代随机选择一个错误点进行修正,修正后的分类线错误率与之前的分类线比较,若错误率较低,则选择修正后的分类线。继续进行下一次迭代。

迭代完毕后,得到更新后的权重系数 w ,绘制此时的分类直线是什么样子。

计算一下分类的正确率:

分类正确率达到了0.93。

4

PLA的损失函数分析

我们知道,任何一个机器学习问题包含三个方面:模型、策略、算法。从策略来说,无论是PLA还是Pocket PLA,使用的损失函数是统计误分类点的总数,即希望误分类点的总数越少越好,属于0-1损失函数「0-1 Loss Function」。但是,这样的损失函数不是参数 w 的连续可导函数。

从算法实现上来看,PLA每次不断修正错误点,修正公式为:

修正公式的推导,我们在上一篇文章中已经详细解释过。数学上可以证明,PLA算法是收敛的。

而对于分类问题,常见的损失函数一般为交叉熵损失函数「Cross Entropy Loss」。其表达式为:

交叉熵损失函数使用的梯度下降算法修正公式为:

对比起来,PLA和交叉熵损失函数的修正公式具有相似性,不同的是PLA没有引入学习因子η和梯度。

以上内容对比了PLA和一般分类问题在策略和算法上的差异性。其实,红色石头想说的是,抓住本质最为重要,知道了不同的策略和方法,搭配不同的机器学习模型,只要能解决实际问题,都是可以的。也就是说我完全可以使用平方误差来作为分类问题的策略,从理论上讲是可行的。千万不要在解决问题时,只固定一种思路。

5

总结

PCA是机器学习最简单的算法之一。PCA处理线性可分问题,优化的PCA解决线性不可分的问题。实际验证表明,一般的PCA处理线性可分及线性不可分问题都有不错的表现,即一般能得到最佳的分类直线。但是PLA过于简单,有其本身的局限性。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180602G00A2D00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券