机器学习实战之Logistic回归

写在前面

Logistic回归涉及到高等数学,线性代数,概率论,优化问题。本文尽量以最简单易懂的叙述方式,以少讲公式原理,多讲形象化案例为原则,给读者讲懂Logistic回归。如对数学公式过敏,引发不适,后果自负。

Logistic回归原理与推导

Logistic回归中虽然有回归的字样,但该算法是一个分类算法,如图所示,有两类数据(红点和绿点)分布如下,如果需要对两类数据进行分类,我们可以通过一条直线进行划分(w0 * x0 + w1 * x1+w2 * x2)。当新的样本(x1,x2)需要预测时,带入直线函数中,函数值大于0,则为绿色样本(正样本),否则为红样本(负样本)。 推广到高维空间中,我们需要得到一个超平面(在二维是直线,在三维是平面,在n维是n-1的超平面)切分我们的样本数据,实际上也就是求该超平面的W参数,这很类似于回归,所以取名为Logistic回归。

sigmoid函数

当然,我们不直接使用z函数,我们需要把z值转换到区间[0-1]之间,转换的z值就是判断新样本属于正样本的概率大小。 我们使用sigmoid函数完成这个转换过程,公式如下。通过观察sigmoid函数图,如图所示,当z值大于0时,σ值大于0.5,当z值小于0时,σ值小于于0.5。利用sigmoid函数,使得Logistic回归本质上是一个基于条件概率的判别模型。

目标函数

其实,我们现在就是求W,如何求W呢,我们先看下图,我们都能看出第二个图的直线切分的最好,换句话说,能让这些样本点离直线越远越好,这样对于新样本的到来,也具有很好的划分,那如何用公式表示并计算这个目标函数呢?

我们把sigmoid公式应用到z函数中:

通过条件概率可推出下面公式,对公式进行整合为一个,见下。

假定样本与样本之间相互独立,那么整个样本集生成的概率即为所有样本生成概率的乘积:

这个公式过于复杂,不太容易求导,这里通过log转换:

这时就需要这个目标函数的值最大,以此求出θ。

梯度上升法

在介绍梯度上升法之前,我们看一个中学知识:求下面函数在x等于多少时,取最大值。

函数图:

解:求f(x)的导数:2x,令其为0,求得x=0时,取最大值为0。但在函数复杂时,求出导数也很难计算函数的极值,这时就需要使用梯度上升法,通过迭代,一步步逼近极值,公式如下,我们顺着导数的方向(梯度)一步步逼近。

利用梯度算法计算该函数的x值:

def f(x_old):
         return -2*x_old
    
def cal():
     x_old  = 0
     x_new = -6
     eps = 0.01
     presision = 0.00001
     while abs(x_new-x_old)>presision:
        x_old=x_new
        x_new=x_old+eps*f(x_old)
     return x_new

-0.0004892181072978443
目标函数求解

这里,我们对函数求偏导,得到迭代公式如下:

Logistic回归实践

数据情况

读入数据,并绘图显示:

def loadDataSet():
    dataMat = [];labelMat = []
    fr = open('数据/Logistic/TestSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat
训练算法

利用梯度迭代公式,计算W:

def sigmoid(inX):
    return 1.0/(1 + np.exp(-inX))

def gradAscent(dataMatIn, labelMatIn):
    dataMatrix = np.mat(dataMatIn)
    labelMat = np.mat(labelMatIn).transpose()
    m,n = np.shape(dataMatrix)
    alpha = 0.001
    maxCycles = 500
    weights = np.ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)
        error = labelMat - h
        weights = weights + alpha * dataMatrix.transpose() * error
    return weights

通过计算的weights绘图,查看分类结果:

16.png

算法优缺点

  • 优点:易于理解和计算
  • 缺点:精度不高

写在最后

最近在运营自己的原创公众号,以后文章会在公众号首发,希望各位读者多多关注支持。 万水千山总是情,点波关注行不行。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏智能算法

纹理图像分割的常用方法概述

纹理图像在局部区域内呈现了不规则性,而在整体上表现出某种规律性。纹理基元的排列可能是随机的,也可能是相互之间互相依赖,这种依赖性可能是有结构的,也可能是按某种...

42712
来自专栏有趣的Python和你

机器学习实战之Logistic回归

Logistic回归涉及到高等数学,线性代数,概率论,优化问题。本文尽量以最简单易懂的叙述方式,以少讲公式原理,多讲形象化案例为原则,给读者讲懂Logistic...

1533
来自专栏新智元

深度学习研究总结:生成对抗网络(附 3 篇 arXiv 最火论文)

【新智元导读】Yann LeCun曾说:“对抗训练是切片面包发明以来最令人激动的事情”。这篇文章中,作者回顾基于 Ian Goodfellow 在2014 年的...

4127
来自专栏PPV课数据科学社区

机器学习测试题(上)

人工智能一直助力着科技发展,新兴的机器学习正推动着各领域的进步。如今,机器学习的方法已经无处不在—从手机上的语音助手到商业网站的推荐系统,机器学习正以不容忽视...

32712
来自专栏AI研习社

用 CNN 分 100,000 类图像

[Title]:Dual-Path Convolutional Image-Text Embedding

1071
来自专栏SIGAI学习与实践平台

基于深度学习的目标检测算法综述

目标检测的任务是找出图像中所有感兴趣的目标(物体),确定它们的位置和大小,是机器视觉领域的核心问题之一。由于各类物体有不同的外观,形状,姿态,加上成像时光照,遮...

2652
来自专栏AI科技评论

开发 | 自Ian Goodfellow之后,GANs还有哪些开拓性进展?

AI科技评论按:本文由作者Adit Deshpande总结,AI科技评论编译整理。Adit Deshpande目前是UCLA计算机科学专业生物信息学方向的大二学...

3437
来自专栏企鹅号快讯

基于深度学习的行人重识别研究综述

AI 科技评论按:本文为浙江大学罗浩为 AI 科技评论撰写的独家稿件,得到了作者本人指点和审核,在此表示感谢。 前言:行人重识别(Person Re-ident...

5568
来自专栏达观数据

技术干货|集成学习算法(Ensemble Method)浅析

个性化推荐系统是达观数据在金融、电商、媒体、直播等行业的主要产品之一。在达观数据的个性化推荐系统架构中, 可以简单地分为5层架构,每层处理相应的数据输出给下一层...

3628
来自专栏有趣的Python和你

机器学习实战之线性回归

1405

扫码关注云+社区