机器学习-逻辑回归推导

逻辑回归在机器学习中属于比较常见的模型,它由感知机模型发展而来。刚学习机器学习的时候,看到感知机这个名字好奇怪,为什么就叫感知机呢?不就用一个超平面来分割所有的样本并且使得损失函数最小嘛,叫一个这么深奥的名字吓唬人啊。后来学习神经网络时候也看到了这个名字,才发现这个名字来源于神经网络。就是单层的神经网络嘛。所以很多时候我们学习一个东西的时候可能暂时不明白,我们可以先跳过去,不必在哪里死磕。

一、感知机模型

先给出感知机模型的定义(公式不好编辑,就复制粘贴了):

机器学习三要素:模型、策略、算法,既然模型给出来了,我们用什么策略和什么算法来学习这个模型呢。学习策略就是所有的误样本点到上面我们定义的超平面的距离最小。算法就用常规的梯度下降法。李航的《统计学习方法》中有明确的推导和例子。这里不再赘述。本文重点记录的逻辑回归的推导。

二、为什么要有逻辑回归

对于线性可分的分类问题,有了感知机为什么还要逻辑回归呢?比如我们给感知机模型输入一个样本,模型输出为0.00001>0, 那么我们就把这个样本划分到正分类中,我像这里很难有说服力吧,毕竟你就比0大那么一丢丢啊。这是应为我们用到了sign函数,这是一个跳跃函数。在0附近是不连续的,在数学上连续可导可是一件很重要的事情。所以我们就像是不是有其他的函数来替代这个调试函数。于是申请的sigmod函数就出现了。

sigmod函数表达式:

图像如下:

函数性质:

1、连续可导

2、输入区间在负无穷到正无穷,值域在(0,1)之间

完全满足我们概率上的要求,给sigmod函数输入一个样本,如果输出大于0.5,那么就可以判为正例,如果输出小于0.5就可以判为负列。如果等于0.5就看心情了,随便了。

所以我们可以定义如下模型来解决二分类问题:

为了方便

可以变换为(第一个向量最后一个数为b,x向量最后一个数为1即可)

所以最后的模型可以简写为:

三、逻辑回归模型推导

对于给定的训练数据集

,其中

令:

下面用极大似然函数估计模型参数

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181009G1ZJ5P00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券