首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

每天一个ml模型——逻辑斯蒂回归与最大熵模型

该系列的宗旨为:少公式,简洁化,掌握核心思想,面向对机器学习感兴趣的朋友,后期会写应用篇。

ps:主要源自李航《统计学习方法》以及周志华《机器学习》,水平所限,望大牛们批评指正。

逻辑斯蒂回归与最大熵模型:多类分类

模型特点:特征条件下类别的条件概率分布,对数线性模型

学习策略:极大似然估计,正则化的极大似然估计

学习的损失函数:逻辑斯蒂损失

学习算法:改进的迭代尺度算法,梯度下降,拟牛顿法

应用场景:疾病自动诊断、经济预测

简介:逻辑斯蒂回归是统计学习中经典分类方法,最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型。逻辑斯蒂回归模型与最大熵模型都属于对数线性模型。

1、逻辑斯蒂回归模型

逻辑斯蒂回归的目的:寻找一个非线性函数Sigmoid的最佳拟合参数,求解过程可以由最优化算法来完成。在最优化算法中,最常用的是梯度下降法,而梯度下降算法又可以简化为随机梯度下降。

1.1模型

该模型可以用于二类或多类分类

1.2模型参数估计

可以应用极大似然估计法估计模型参数,从而得到逻辑斯蒂回归模型

在二项逻辑斯蒂回归模型中,对于给定的训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)},其中yi∈

P=π(x)

P=1-π(x)

则其对数似然函数为

对L(w)求极大值便得到了w的估计值,通常采用梯度下降法及拟牛顿法

2、最大熵模型

原理:学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型,通常用约束条件来确定概率模型的集合。在没有更多信息的情况下,那些不确定的部分都是“等可能的”,最大熵原理通过熵的最大化来表示等可能性。

最大熵模型是由以下条件概率分布表示的分类模型,最大熵模型也可以用于二类或多类分类

其中,Zw(x)是规范化因子,fi为特征函数,wi为特征的权重

3、模型学习的最优化算法

改进的迭代尺度法(IIS)

基本思想:假设最大熵模型当前的参数向量是w=(w1,w2,...,wn)T,我们希望找到一个新的参数向量w+δ =(w1+ δ1,w2+ δ2,...,wn+ δn)T,使得模型的对数似然函数值最大

如果能有这样一种参数向量更新方法w —> w+δ ,那么就可以重复使用这一方法,直至找到对数似然函数的最大值。

嗯,逻辑斯蒂回归,永远的痛,关于最优化算法,下次小吴会单独写一章介绍。有朋友觉得这些太理论了,但小吴觉得算法这种东西还是得掌握其思想,后续会陆续展开应用的篇章。五一之后,小吴公司上班有点忙,更新有点慢,捂脸。

另外,小吴的师兄也开始在deepleading公众号发文章啦。欢迎关注公众号。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180503G11Q0Y00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券