ML基石_10_LogisticRegression

logistic regression problem

Y是概率的情况

现实生活中,有一些问题,不仅需要分类01,还需要给出分类的概率。这种情况下的target function是:

f(x)=P(+1|x)

f(x)=P(+1| x )

相同数据不同目标函数

logistic regression用到的数据和linear classification用到的数据一样,但是却需要得到概率输出的Y值。

logis假设集

既然数据是01型的,需要的y是概率型的,那么我们的假设集肯定得输出概率型的y,且范围在[0,1]。

使用logistic假设集,将输出限制到[0,1]之间。

logistic regression error

有了假设集H(logistic的假设集),就需要演算法A去选出合适的假设集,但是需要有合适的标准才可以选择啊,首先回归之前学过的error measure

error already stydied

likelihood

研究error的测量,就是研究以什么样的标准,去评判构建出来的g是否真实趋近于f。

首先,可以算出以f表示的,当前数据出现的概率,当前数据已经出现了,那么这个概率应该很大。同时,在计算出以g表示的概率,这个概率应该likelihood f,所以同样应该概率很大。

这样,就把问题转化成了最大似然的优化问题。

优化化简

gradient for lr error

上文中,得到了EinE_{in},那么如何求解这个优化问题呢

Ein的性质

连续可微,二次倒数存在,凸函数

Ein梯度的计算

Ein梯度等于0的计算

很困难

迭代算法

gradient descent

descent的方向

梯度方向是函数增长最快的方向,这里求解的问题是最小值的优化问题,方向应该是梯度的反方向。

迭代速度的选择

太快的话可能好可能差,原有公式中的假设不存在,所以存疑。

汇合

总结

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习入门

深度学习系列(2):前向传播和后向传播算法

深度学习系列(2):前向传播和后向传播算法 前言 讲真,之前学吴恩达的机器学习课时,还手写实现过后向传播算法,但如今忘得也一干二净。总结两个原因:1. 理解不够...

2117
来自专栏WD学习记录

机器学习深度学习 笔试面试题目整理(2)

(1) 思想    改变全连接为局部连接,这是由于图片的特殊性造成的(图像的一部分的统计特性与其他部分是一样的),通过局部连接和参数共享大范围的减少参数值。可...

782
来自专栏Gaussic

Machine Learning笔记(二) 单变量线性回归

对于给定的训练集(Training Set),我们希望利用学习算法(Learning Algorithm)找到一条直线,以最大地近似所有的数据,然后通过这条直线...

673
来自专栏CVer

资源 | 深度神经网络数学笔记

如今,我们已经拥有了许多高级的、专业的神经网络程序库和框架,例如:Keras、TensorFlow 或 Pytorch。我们不需要时刻担心权值矩阵的规模,也不需...

711
来自专栏机器之心

入门 | 理解深度学习中的学习率及多种选择策略

2606
来自专栏机器学习算法与Python学习

CS231n课程笔记翻译:图像分类笔记(上)

本文智能单元首发,译自斯坦福CS231n课程笔记image classification notes,由课程教师Andrej Karpathy授权进行翻译。本篇...

3356
来自专栏鸿的学习笔记

十张图解释机器学习

3.奥卡姆剃刀:贝叶斯推理表现出奥卡姆剃刀原理了。 这个图给出了为什么复杂的模型会变得不那么可能了。 水平轴表示可能的数据集D的空间。贝叶斯定理奖励模型的比例与...

671
来自专栏计算机视觉战队

最近流行的激活函数

最近又看了点深度学习的东西,主要看了一些关于激活函数的内容,不知道算不算新颖,但是我想把自己阅读后的分享一下,请各位给予评价与指点,谢谢! 一般激活函数有如下一...

2645
来自专栏重庆的技术分享区

2吴恩达Meachine-Learing之单变量线性回归(Linear-Regression-with-One-Variable

1234
来自专栏人工智能头条

漫谈词向量 Part 1

1465

扫码关注云+社区