ML基石_10_LogisticRegression

logistic regression problem

Y是概率的情况

现实生活中,有一些问题,不仅需要分类01,还需要给出分类的概率。这种情况下的target function是:

f(x)=P(+1|x)

f(x)=P(+1| x )

相同数据不同目标函数

logistic regression用到的数据和linear classification用到的数据一样,但是却需要得到概率输出的Y值。

logis假设集

既然数据是01型的,需要的y是概率型的,那么我们的假设集肯定得输出概率型的y,且范围在[0,1]。

使用logistic假设集,将输出限制到[0,1]之间。

logistic regression error

有了假设集H(logistic的假设集),就需要演算法A去选出合适的假设集,但是需要有合适的标准才可以选择啊,首先回归之前学过的error measure

error already stydied

likelihood

研究error的测量,就是研究以什么样的标准,去评判构建出来的g是否真实趋近于f。

首先,可以算出以f表示的,当前数据出现的概率,当前数据已经出现了,那么这个概率应该很大。同时,在计算出以g表示的概率,这个概率应该likelihood f,所以同样应该概率很大。

这样,就把问题转化成了最大似然的优化问题。

优化化简

gradient for lr error

上文中,得到了EinE_{in},那么如何求解这个优化问题呢

Ein的性质

连续可微,二次倒数存在,凸函数

Ein梯度的计算

Ein梯度等于0的计算

很困难

迭代算法

gradient descent

descent的方向

梯度方向是函数增长最快的方向,这里求解的问题是最小值的优化问题,方向应该是梯度的反方向。

迭代速度的选择

太快的话可能好可能差,原有公式中的假设不存在,所以存疑。

汇合

总结

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

干货:Excel图解卷积神经网络结构

先坦白地说,有一段时间我无法真正理解深度学习。我查看相关研究论文和文章,感觉深度学习异常复杂。我尝试去理解神经网络及其变体,但依然感到困难。

973
来自专栏人工智能

GAN提高人体重识别准确率

论文地址https://arxiv.org/abs/1701.07717内容简介 这篇文章的主要贡献是只使用原始数据集进行半监督学习,提高行人重识别的Basel...

2447
来自专栏刘笑江的专栏

Loss Function

2014
来自专栏新智元

机器学习:用初等数学解读逻辑回归

逻辑回归问题的通俗几何描述 逻辑回归处理的是分类问题。我们可以用通俗的几何语言重新表述它: 空间中有两群点,一群是圆点“〇”,一群是叉点“X”。我们希望从空间...

34215
来自专栏云时之间

对交叉验证的一些补充(转)

交叉验证是一种用来评价一个统计分析的结果是否可以推广到一个独立的数据集上的技术。主要用于预测,即,想要估计一个预测模型的实际应用中的准确度。它是一种统计学上将数...

4119
来自专栏PPV课数据科学社区

干货:Excel图解卷积神经网络结构

先坦白地说,有一段时间我无法真正理解深度学习。我查看相关研究论文和文章,感觉深度学习异常复杂。我尝试去理解神经网络及其变体,但依然感到困难。

1102
来自专栏张俊红

SKlearn参数详解—随机森林

随机森林(RandomForest,简称RF)是集成学习bagging的一种代表模型,随机森林模型正如他表面意思,是由若干颗树随机组成一片森林,这里的树就是决策...

1493
来自专栏mantou大数据

[机器学习Lesson4]多元线性回归

在回归分析中,如果有两个或两个以上的自变量,就称为多元回归。事实上,一种现象常常是与多个因素相联系的,由多个自变量的最优组合共同来预测或估计因变量,比只用一个自...

70418
来自专栏机器学习之旅

理论:聚类算法思路总结

常见的为欧式距离(L1 norm)&&p=2,拓展的可以有闵可夫斯基距离(L2 norm)&&p=1:

572
来自专栏杨熹的专栏

Machine Learning Notes-Linear Regression-Udacity

什么是 Regression? Regression 就是想找到因变量和自变量之间的关系,用一个函数来表示,并且可用这个函数来预测任意一个新的 x 会有怎样的 ...

3414

扫码关注云+社区