ML基石_10_LogisticRegression

logistic regression problem

Y是概率的情况

现实生活中,有一些问题,不仅需要分类01,还需要给出分类的概率。这种情况下的target function是:

f(x)=P(+1|x)

f(x)=P(+1| x )

相同数据不同目标函数

logistic regression用到的数据和linear classification用到的数据一样,但是却需要得到概率输出的Y值。

logis假设集

既然数据是01型的,需要的y是概率型的,那么我们的假设集肯定得输出概率型的y,且范围在[0,1]。

使用logistic假设集,将输出限制到[0,1]之间。

logistic regression error

有了假设集H(logistic的假设集),就需要演算法A去选出合适的假设集,但是需要有合适的标准才可以选择啊,首先回归之前学过的error measure

error already stydied

likelihood

研究error的测量,就是研究以什么样的标准,去评判构建出来的g是否真实趋近于f。

首先,可以算出以f表示的,当前数据出现的概率,当前数据已经出现了,那么这个概率应该很大。同时,在计算出以g表示的概率,这个概率应该likelihood f,所以同样应该概率很大。

这样,就把问题转化成了最大似然的优化问题。

优化化简

gradient for lr error

上文中,得到了EinE_{in},那么如何求解这个优化问题呢

Ein的性质

连续可微,二次倒数存在,凸函数

Ein梯度的计算

Ein梯度等于0的计算

很困难

迭代算法

gradient descent

descent的方向

梯度方向是函数增长最快的方向,这里求解的问题是最小值的优化问题,方向应该是梯度的反方向。

迭代速度的选择

太快的话可能好可能差,原有公式中的假设不存在,所以存疑。

汇合

总结

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

神经网络的基础-逻辑回归

练习数据和代码那必须是每一期都有的,文末查看获取方式。 大家好,今天给大家介绍的算法叫做逻辑回归。 从名字入手,逻辑回归嘛,它肯定是回归的一种,还记得我们之前讲...

2176
来自专栏林欣哲

深度学习的训练

今天来聊聊深度学习的训练方法和注意事项 数据集的拆分: 首先要准备好已经处理好的数据集(注意数据集要满足独立同分布),分为训练集、验证集、测试集。可按80%,1...

3798
来自专栏和蔼的张星的图像处理专栏

FHOG传统hog特征提取。FHOG

关于HOG特征(梯度统计直方图)简单介绍一下,首先是对原图进行灰度化(hog统计的是梯度信息,色彩几乎没有贡献),再进行gamma压缩和归一化(减轻光照影响)。...

4232
来自专栏深度学习那些事儿

利用pytorch实现Fooling Images(添加特定噪声到原始图像,使神经网络误识别)

fooling images,顾名思义,就是指一张图片,虽然上面通过肉眼看到的是松鼠(举个例子),但是因为这张图片加了一些特定的噪声,所以神经网络会将它误识别为...

4835
来自专栏机器人网

从零开始,了解元学习

传统的机器学习研究模式是:获取特定任务的大型数据集,然后用这个数据集从头开始训练模型。很明显,这和人类利用以往经验,仅仅通过少量样本就迅速完成学习的情况相差甚远...

1082
来自专栏杂文共赏

蚂蚁金服论文

通常,图表征学习的目标是学习一个函数:f(\mathcal{X},\mathcal{G}) ,利用\mathcal{G}空间中附加的图结构,而不是传统的只考虑f...

5097
来自专栏机器学习算法工程师

基于深度学习的图像语义分割算法综述

本文翻译自An overview of semantic image segmentation,原作者保留版权。

2313
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No

上节课,我们主要简述了机器学习的定义及其重要性,并用流程图的形式介绍了机器学习的整个过程:根据模型H,使用演算法A,在训练样本D上进行训练,得到最好的h,其对应...

2630
来自专栏智能算法

初识支持向量机原理

支持向量机作为机器学习中最为难于理解的算法,小编将以三篇的篇幅去讲解小编自己理解的SVM算法。主要包括:初识支持向量机原理、SVM如何解决线性不可分、SVM实践...

3438
来自专栏ATYUN订阅号

在不同的任务中,我应该选择哪种机器学习算法?

当开始研究数据科学时,我经常面临一个问题,那就是为我的特定问题选择最合适的算法。在本文中,我将尝试解释一些基本概念,并在不同的任务中使用不同类型的机器学习算法。...

3203

扫码关注云+社区