R-L模型算法的优缺点_风筝模型公式

介绍

Logistic回归算法，名字虽带有回归，但其实是一个分类模型。 输出Y=1的对数几率是由输入x的线性函数表示的模型，直接对分类的可能性进行建模，并不是直接对分类的结果（0或者1）进行建模： 假设一个样本属于正样本的概率为p,则：

这里写图片描述

LR模型是在线性回归的基础上，把特征进行线性组合，再把组合的结果通过一层sigmoid函数映射成结果是1或是0的概率。

逻辑斯蒂回归模型的特点：

一个事件的几率是指该事件发生的概率和该事件不发生的概率的比值，如果事件发生的几率为p，那么该事件的几率是：p/(1-p),该事件的对数几率是：

这里写图片描述

化简上式，可以得到logit(p) = w*x,说明输出Y=1的对数几率是输入x的线性函数，或者说Y=1的对数几率是由输入x的线性函数表示的模型。 目标函数是最大化似然函数，假设样本之间是相互独立的，那么整个样本集生成的概率即为所有样本生成概率的乘积：

这里写图片描述

在上面的结果中取对数，可以得到：

这里写图片描述

采用梯度上升法，使似然函数达到渐渐逼近极值，对参数

这里写图片描述

采用分步求导的方式对上面的每一步进行求导，再将求导之后的结果连乘以后得到上式结果。 因此梯度迭代的公式为：

这里写图片描述

这里写图片描述

这里写图片描述

总结：

逻辑回归模型是一个分类模型，対生成的结果是0或1的概率进行建模，通过采用最大似然估计的方法最大化似然函数，采用梯度上升的方法得到使似然函数最大的参数。

参考链接： LR推导 机器学习 LR中的参数迭代公式推导——极大似然和梯度下降 http://blog.csdn.net/cyh_24/article/details/50359055

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/182312.html原文链接：https://javaforall.cn