每天十分钟机器学习之十六:逻辑回归之多分类

通过前两讲的学习,我们了解逻辑回归的原理,又通过判定边界切身体会了它是如何分类的,尤其是对于二元分类问题,一般情况下sigmoid这个链接函数就可以解决。我把上一讲的一个片段贴出来,大家可以再次体会一下。

但是对于多元分类,逻辑回归是如何解决的呢,现实中存在很多多元分类问题,例如:

(1)将邮件分为不同类别/标签:工作(y=1),朋友(y=2),家庭(y=3),爱好(y=4)

(2)天气分类:晴天(y=1),多云天(y=2),下雨天(y=3),下雪天(y=4)

(3)疾病判断:没生病(y=1),感冒(y=2),流感(y=3)

对于二元分类问题,数据可能是像这样:

但对于一个多类分类问题,数据集可能是这样:

所以接下来介绍如何运用逻辑回归解决多分类问题。

假设我们有一个训练集如上图,上图表示有三个类别,我们用三角形表示 y=1,方框表示y=2,叉叉表示y=3。我们下面要做的就是使用一个训练集,将其分成三个二元分类问题。

我们先从用三角形代表的类别1开始,类型2和类型3定为负类,类型1设定为正类,我们创建一个新的训练集,如下图所示的那样,我们要拟合出一个合适的分类器。

这里的三角形是正样本,而圆形代表负样本。可以这样想,设置三角形的值为1,圆形的值为,下面我们来训练一个标准的逻辑回归分类器,这样我们就得到一个正边界。

为了能实现这样的转变,我们将多个类中的一个类标记为正向类(y=1),然后将其他所有类都标记为负向类,这个模型记作

接着,类似地第我们选择另一个类标记为正向类(y=2),再将其它类都标记为负向类,将这个模型记作

,依此类推,最后我们得到一系列的模型简记为:

最后,在我们需要做预测时,我们将所有的分类机都运行一遍,然后对每一个输入变量,都选择最高可能性的输出变量。

总之,我们已经把要做的做完了,现在要做的就是训练这个逻辑回归分类器:

其中i对应每一个可能的y=i,最后,为了做出预测,我们给出输入一个新的x值,用这个做预测。我们要做的就是在我们三个分类器里面输入x,然后我们选择一个让上述模型最大的 i,即

祝您的机器学习之旅愉快!

本文参考资料:斯坦福吴恩达老师的机器学习讲义,图片直接来自讲义;

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181129G19LO000?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券