概率论基础 - 10 - 常见概率分布

本文记录常见的概率分布。

基础概念

probability mass function:PMF

• 概率质量函数（离散随机变量密度函数）
• 和为1

probability density function：PDF

• 概率密度函数（连续随机变量）
• 积分为1

常见分布

均匀分布

离散随机变量的均匀分布

• 假设 X 有 k 个取值: x_{1}, x_{2}, \cdots, x_{k} , 则均匀分布的概率密度函数( probability mass function:PMF )为:

连续随机变量的均匀分布

• 假设 X 在 [\mathrm{a}, \mathrm{b}] 上均匀分布，则其概率密度函数( probability density function: PDF )为:

• 期望：

• 方差：

伯努利分布

1. 伯努利分布：参数为 \phi \in[0,1]_{\circ} 随机变量 X \in{0,1} 。

• 概率分布函数： p(X=x)=\phi{x}(1-\phi){1-x}, x \in{0,1}
• 期望: \mathbb{E}[X]=\phi
• 方差: \operatorname{Var}[X]=\phi(1-\phi)

1. categorical 分布：它是二项分布的推广, 也称作 multinoulli 分布。假设随机变量 X \in{1,2, \cdots, K} , 其概率分布函数为:

​ 其中 \theta_{i} 为参数, 它满足 \theta_{i} \in[0,1] , 且 \sum_{i=1}^{K-1} \theta_{i} \in[0,1] 。

二项分布

1. 假设试验只有两种结果：成功的概率为 \phi , 失败的概率为 1-\phi_{\circ} 则二项分布描述了：独立重复地进行 n 次 试验中，成功 x 次的概率。

• 概率质量函数:

参考资料

• http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html