机器学习——Python实现逻辑回归

更多精彩推荐,请关注公众号:tjxj666

逻辑回归(Logistic Regression)

概述

假设现在有一些数据点,用一条直线对这些点进行拟合(该线称为最佳拟合直线),这个拟合过程就称为回归。

利用逻辑回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。

算法流程

收集数据:采用任意方法收集数据

准备数据:由于需要进行距离计算,因此要求数据类型为数值型。另外,结构化数据格式则最佳

分析数据:采用任意方法对数据进行分析

训练算法:大部分时间将用于训练,训练的目的是为了找到最佳的分类回归系数

测试算法:一旦训练步骤完成,分类将会很快

使用算法:首先,需要输入一些数据,并将其转换成对应的结构化数值;接着,基于训练好的回归系数就可以对这些数值进行简单的回归计算,判定它们属于哪个类别;在这之后,就可以在输出的类别上做一些其他分析工作

基于逻辑回归和Sigmoid函数的分类

逻辑回归

优点:计算代价不高,易于理解和实现

缺点:容易欠拟合,分类精度可能不高

适用数据类型:数值型和标称型数据

我们想要的函数应该是,能接受所有的输入然后预测出类别。例如,对于而分类问题,该函数应该返回0或1。具有这种性质的函数称为海维塞德阶跃函数(Heaviside step function),或直接称为单位阶跃函数。海维塞德阶跃函数的问题在于:该函数在跳跃点上从0瞬间跳跃到1,这个瞬间跳跃过程有时很难处理。

Sigmoid函数是一个S型曲线,其函数形式为:

当输入z等于0时,Sigmoid函数值为0.5。随着z的增大,对应的函数值趋近于1;随着z的减小,对应的函数值趋近于0。

基于最优化方法的最佳回归系数确定

训练算法:适用梯度上升找到最佳参数

梯度上升法基于的思想是:要找到某函数的最大值,最好的方法是沿着该函数的梯度方向探寻。

梯度上升法的伪代码:

分析数据:画出决策边界

训练算法:随机梯度上升

梯度上升算法每次更新归回系数时都需要遍历整个数据集,数据量较小时尚可,但如果有数十亿样本和上千万特征,那么该方法的计算复杂度就太高了。一种改进方法是以此仅用一个样本点来更新回归系数,该方法称为随机梯度上升算法。由于可以在新样本到来时对分类器进行增量式更新,因而随机梯度上升算法是一个在线学习算法。与“在线学习”相对应,一次处理所有数据被称作是“批处理”。

随机梯度算法伪代码:

测试随机梯度上升算法

从结果上来看,拟合出来的直线效果还不错,但不像前面那么完美。这里的分类器错分了三分之一的样本。

但是前面的结果时迭代了500次才得到的。

示例:从疝气病症预测病马的死亡率

使用逻辑回归来预测患有疝气病的马的存活问题。

如需数据集进行实验,请留言。

收集数据:给定数据文件。

准备数据:用python解析文本文件并填充缺失值。

分析数据:可视化并观察数据。

训练算法:使用优化算法,找到最佳的系数。

测试算法:为了量化回归的效果,需要观察错误率。根据错误率决定是否回退到训练阶段,通过改变迭代的次数和步长等参数来得到更好的回归系数。

使用算法:实现一个简单的命令行程序来收集马的症状

准备数据:处理缺失值

处理缺失值可选的做法:

使用可用特征的均值来填补缺失值

使用特殊值来填补缺失值,如-1

忽略有缺省值的样本

使用相似样本的均值填补缺失值

使用另外的机器学习算法预测缺失值

这里选择实数0来替换所有缺失值,因为使用NumPy数据类型不允许包含缺失值,而0恰好能适用于逻辑回归。回归系数的更新公式如下:

weights=weights+alpha∗error∗dataMatrix[randindex]weights=weights+alpha∗error∗dataMatrix[randindex]

如果dataMatrix的某特征对应值为0,那么该特征的系数不做更新,即:

weights=weightsweights=weights

另外,由于sigmoid(0) = 0.5,即它对结果的预测不具有任何倾向性,因此选择实数0作为缺失值也不会对误差项造成影响。

测试算法:用逻辑回归进行分类

函数测试

10次迭代后,平均错误率为35%。这个结果并不差,因为有30%的缺失值。

如果调整colicTest()中的迭代次数和stocGradAscent1()中的步长,平均错误率还可以下降。

小结

逻辑回归的目的是寻找一个非线性函数Signmoid的最佳拟合参数,求解过程可以由最优化算法来完成。在最优化算法中,最常用的是梯度上升算法,而梯度上升算法又可以简化为随机梯度上升算法。

随机梯度上升算法与梯度上升算法的效果相当,但占用更少的计算机资源。此外,随机梯度上升算法是一个在线算法,它可以在新数据到来时完成参数更新,而不需要重新读取整个数据集来进行批处理运算。

·END·

统计学家

统计学·机器学习·人工智能

微信号:tjxj666

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20180630A08T5Q00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券