文章/答案/技术大牛

发布

社区首页 >问答首页 >用正态分布代替Logistic分布进行分类

问用正态分布代替Logistic分布进行分类
EN

Data Science用户

提问于 2019-03-27 07:40:48

回答 1查看 1.8K关注 0票数 2

基于Logistic函数\sigma(x) = \frac{1}{1 + \exp(-x)}的logistic回归可以看作是一个假设检验问题。其中参考分布是标准Logistic分布，其中p.m.f是

f(x) = \frac{\exp(-x)}{[1 + \exp(-x)]^2}

而c.d.f是

F(x) = \sigma(x) = \frac{1}{1 + \exp(-x)}

要检验的假设是

H_0: x \text{ isn't positive} \hspace{2.0cm} H_1: x \text{ is positive}

测试统计量为F(x)。我们拒绝H_0如果F(x) \geq \alpha，其中\alpha是显着性水平(在假设检验方面)或分类阈值(就分类问题而言)。

我的问题是，为什么他们不提出标准正态分布，它真正反映的是“自然分布”，而不是Logistic分布？

classification

logistic-regression

distribution

回答 1

Data Science用户

回答已采纳

发布于 2019-03-27 14:11:16

很好的对比。

通常，我们可以尝试任意数量的发行版，并找到适合我们的发行版。然而，正态性假设导致了由臭名昭著的erf函数构成的难以解释的推导。

让我们首先确定在logistic回归的上下文中什么是x。Logistic回归模型可以写成：

P(y=1|\boldsymbol{x})=\frac{1}{1+e^{-\boldsymbol{w}^t\boldsymbol{x}}}=F(\boldsymbol{w}^t\boldsymbol{x})

所以你的x实际上是z=\boldsymbol{w}^t\boldsymbol{x}。这意味着，尽管假定谓词\boldsymbol{x}来自正态分布是合理的，但对于其维度的线性组合(即z )来说，相同的参数不成立。换句话说，对于z来说，正常的假设并不像对\boldsymbol{x}那样自然。

不过，让我们看看在正常假设下会发生什么。我们在这里面临的问题是难以分析的。更具体地说，为了使类似的模型与使用最大似然的观测结果相适应，我们需要(1)关于每个参数w_i的累积分布函数的导数，以及(2)给定的z的累积分布函数的导数(详见这次讲座第12.2.1节)。

就后勤分配而言，所需的梯度为：

\begin{align*} \frac{\partial F(\boldsymbol{x};\boldsymbol{w})}{\partial w_i}&=\frac{\partial (1+e^{-\boldsymbol{w}^t\boldsymbol{x}})^{-1}}{\partial w_i}= x_i e^{-\boldsymbol{w}^t\boldsymbol{x}}(1+e^{-\boldsymbol{w}^t\boldsymbol{x}})^{-2} =x_if(\boldsymbol{x};\boldsymbol{w}) \end{align*}

然而对于正态分布，CDF是erf函数，它没有一个精确的公式，尽管它的坡度。假设是z \sim \mathcal{N}(0, 1)，梯度将是：

\begin{align*} \frac{\partial F(\boldsymbol{x};\boldsymbol{w})}{\partial w_i}&=\frac{\partial \left(\frac{1}{2}+\frac{1}{2}\text{erf}\left(\frac{z}{\sqrt{2}}\right)\right)}{\partial w_i}=\frac{x_i}{\sqrt{2 \pi}} e^{-\frac{(\boldsymbol{w}^t\boldsymbol{x})^2}{2}}=x_if(\boldsymbol{x};\boldsymbol{w}) \end{align*}

总之，对于z=\boldsymbol{w}^t\boldsymbol{x}和\boldsymbol{x}来说，正态假设是不合理的，它导致了一个难以解决的问题。因此，我们继续使用良好的旧逻辑回归！

以下是正常CDF和logistic CDF的视觉比较：

摘自恩里克·平宗的帖子，这意味着一个很大的分析成本的微小差异！

票数 3

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/48066

复制

相似问题

问用正态分布代替Logistic分布进行分类
EN

回答 1

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问用正态分布代替Logistic分布进行分类EN

回答 1

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问用正态分布代替Logistic分布进行分类
EN