Perceptron Hypothesis Set

Perceptron Hypothesis Set

0.说在前面

1.机器学习的过程

2.感知机

3.作者的话

0.说在前面

今天开始更新机器学习系列,近日主要研究机器学习基石以及西瓜书等方面的学习,本文将更新机器学习基石的相关笔记。

1.机器学习的过程

根据模型H,使用算法A,在训练样本D上的进行训练,得到最好的h,其对应的g就是最后机器学习的函数模型,一般g接近于目标函数f,如下图所示:

ML图

2.感知机

这里引入了一个银行发卡例子,某银行需要根据用户的年龄、收入、性别等来判断是否给当前用户发银行卡。

现在有个训练集D,表示之前用户是否发卡与用户基本信息的关系数据。针对这个D,通过使用算法A,在H中选择最好的h,进而得到g,接近目标函数f。银行利用这个机器学习模型以对用户进行判断:发卡(+1),不发卡(-1)。

到这里,想到了什么?

那就是这个结果竟然跟sigmoid函数取值很像。

在这个机器学习过程中,需要着重看中一个选择,那就是模型选择,也就是Hypothesis Set。

下面介绍一个常用的Hypothesis Set:感知机。

以上述是否给用户发银行卡为例,我们把用户的个人信息作为特征向量x,总共有d个特征,并且给每个特征赋以不同的权重w,表示该特征对输出(是否发信用卡)的影响程度。

在把所有的特征加权和的值与一个设定的阈值threshold进行比较。如果最终结果是大于这个阈值,输出为+1,表示发卡,否则输出为-1,表示不发卡。

感知机图

感知机模型,就是当特征加权和与阈值的差大于或等于0,即输出h(x)=1;当特征加权和与阈值的差小于0,即输出h(x)=-1。我们的目的是计算出所有的权重w和阈值threshold。

然后为了计算方便,将阈值部分合并至累加求和里面。设为w0x,并且将求和的公式看为两个向量进行运算。

这里的w为d行1列,x也为d行1列的向量。

简化图

为了更好的说明感知机模型,这里假设感知机在二维平面上,即。h(x)可以看出是一条分类直线,一侧为正类(+1),另一次为负类(-1),权重的不同对应于不同的直线。其中+1,-1表示最后的y。

二维结果图

这样的perceptron成为linear(binary) classifier,即用一条直线区分两种不同类型的结果。

3.作者的话

以上正文图片来源于林老师课程!

最后,您如果觉得本公众号对您有帮助,欢迎您多多支持,转发,谢谢!

更多内容,请关注本公众号机器学习系列!

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20181005G1G7CZ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券