Logistic regression 为什么用 sigmoid ?

假设我们有一个线性分类器:

我们要求得合适的 W ,使 0-1 loss 的期望值最小,即下面这个期望最小:

一对 x y 的 0-1 loss 为:

在数据集上的 0-1 loss 期望值为:

由 链式法则 将概率p变换如下:

为了最小化 R(h),只需要对每个 x 最小化它的 conditional risk:

由 0-1 loss 的定义,当 h(x)不等于 c 时,loss 为 1,否则为 0,所以上面变为:

又因为

所以:

为了使 条件风险 最小,就需要 p 最大,也就是需要 h 为:

上面的问题等价于 找到 c*,使右面的部分成立:

取 log :

在二分类问题中,上面则为:

即,我们得到了 log-odds ratio !

接下来就是对 log-odds ratio 进行建模,最简单的就是想到线性模型:

则:

于是得到 sigmoid 函数:

由此可见,log-odds 是个很自然的选择,sigmoid 是对 log-odds 的线性建模。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

利用TensorFlow生成图像标题

图像标题生成器模型结合了计算机视觉和机器翻译的最新进展,利用神经网络生成现实的 图像标题。神经图像标题模型被训练,以最大限度地产生给定输入图像的字幕的可能性。并...

4905
来自专栏机器学习和数学

[编程经验] TensorFlow实现线性支持向量机SVM

[点击蓝字,一键关注~] 今天要说的是线性可分情况下的支持向量机的实现,如果对于平面内的点,支持向量机的目的是找到一条直线,把训练样本分开,使得直线到两个样本的...

3384
来自专栏Petrichor的专栏

论文阅读: Speed/accuracy trade-offs

版权声明:转载请注明出处 https://blog.csdn.net/JNingWei/article/details/80045857 ...

1455
来自专栏机器之心

学界 | 谷歌大脑提出自动数据增强方法AutoAugment:可迁移至不同数据集

2179
来自专栏AI研习社

随机加权平均 -- 在深度学习中获得最优结果的新方法

在这篇文章中,我将讨论最近两篇有趣的论文。它们提供了一种简单的方式,通过使用一种巧妙的集成方法提升神经网络的性能。

1252
来自专栏CSDN技术头条

举世瞩目的「深度神经网络」如何应用于移动端?

随着深度学习算法在图像领域中的成功运用,学术界的目光重新回到神经网络上;而随着 AlphaGo 在围棋领域制造的大新闻,全科技界的目光都聚焦在“深度学习”、“神...

2048
来自专栏技术沉淀

逻辑回归(NN Mindset)

1415
来自专栏CreateAMind

PPGN即插即用GAN:Ian Goodfellow推荐的最新模型 视频+多图

PPGN 整合了对抗训练、cnn特征匹配、降噪自编码、Langevin采样;在NIPS2016得到了Ian Goodfellow的介绍.

951
来自专栏算法channel

BAT面试题5:关于LR

接下来,每天一道BAT面试题陪伴你,只要你坚持下来,日积月累,你会在不知不觉中就步入机器学习的大门,并且越走越远。同时,还能助你顺利拿到OFFER. 你应该学会...

1222
来自专栏专知

春节充电系列:李宏毅2017机器学习课程学习笔记03之梯度下降

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的regression问题,其中简要提及了梯度下降(gradient descent),...

36114

扫码关注云+社区