每天十分钟机器学习之十五:逻辑回归之判定边界

上一讲介绍了逻辑回归的由来,而且我们知道逻辑回归是用来解决分类问题的,那么今天这一讲分析一下,为什么逻辑回归能够解决分类问题。引入一个概念,叫做判定边界,可以理解为是对不同类别的数据分割的边界,边界的两旁是不同的类别。

先从二维直角坐标系中,举几个例子,大概是如下这个样子:

甚至可能是这个样子:

上述三幅图中的红绿样本点为不同类别的样本,而我们划出的线,不管是直线、圆或者是曲线,都能比较好地将图中的两类样本分割开来。这就是我们的判定边界,下面我们来看看,逻辑回归是如何根据样本点获得这些判定边界的。

我们回到吴恩达老师的讲义,回到sigmoid函数发现:

当g(z)≥0.5时, z≥0;

对于hθ(x)=g(θTX)≥0.5, 则θTX≥0, 此时意味着预估y=1;

反之,当预测y = 0时,θTX

所以我们认为θTX =0是一个判定边界,当它大于0或小于0时,逻辑回归模型分别预测不同的分类结果。

先看第一个例子hθ(x)=g(θ0+θ1X1+θ2X2),其中θ0 ,θ1 ,θ2分别取-3, 1, 1。则当−3+X1+X2≥0时, y = 1; 则X1+X2=3是一个判定边界,图形表示如下,刚好把图上的两类点区分开来:

上个例子中只是一个线性的决策边界,当hθ(x)更复杂的时候,我们可以得到非线性的判定边界,例如:

这时当x1^2+x2^2≥1时,我们判定y=1,这时的决策边界是一个圆形,如下图所示:

所以我们发现,理论上说,只要我们的hθ(x)设计足够合理,准确的说是g(θTx)中θTx足够复杂,我们能在不同的情形下,拟合出不同的判定边界,从而把不同的样本点分来。

祝您的机器学习之旅愉快!

本文参考资料:斯坦福吴恩达老师的机器学习讲义,图片直接来自讲义;

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181126G1CFC700?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券