吴恩达的 CS229的数学基础（概率论）.pdf

本文是斯坦福大学 CS229 机器学习课程的基础材料，原始文件下载[1]

原文作者：Arian Maleki ， Tom Do 翻译：石振宇[2] 审核和修改制作：黄海广[3]

CS229 机器学习课程复习材料-概率论

概率论复习和参考

概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。

1. 概率的基本要素

举例：

1.1 条件概率和独立性

2. 随机变量

2.1 累积分布函数

通过使用这个函数，我们可以计算任意事件发生的概率。图 1 显示了一个样本CDF函数。

图1：一个累计分布函数(CDF)

性质：

2.2 概率质量函数

2.3 概率密度函数

2.4 期望

2.5 方差

举例：

举例：

2.6 一些常见的随机变量

一些随机变量的概率密度函数和累积分布函数的形状如图 2 所示。

图2：一些随机变量的概率密度函数(PDF)和累积分布函数(CDF)下表总结了这些分布的一些特性：

3. 两个随机变量

到目前为止，我们已经考虑了单个随机变量。然而，在许多情况下，在随机实验中，我们可能有不止一个感兴趣的量。例如，在一个我们掷硬币十次的实验中，我们可能既关心X（w）=出现的正面数量，也关心Y(w)=连续最长出现正面的长度。在本节中，我们考虑两个随机变量的设置。

3.1 联合分布和边缘分布

性质：

3.2 联合概率和边缘概率质量函数

3.3 联合概率和边缘概率密度函数

3.4 条件概率分布

3.5 贝叶斯定理

3.6 独立性

引理 3.1

3.7 期望和协方差

性质：

4. 多个随机变量

4.1 基本性质

链式法则：

4.2 随机向量

期望:

4.3 多元高斯分布

5. 其他资源

一本关于CS229所需概率水平的好教科书是谢尔顿·罗斯的《概率第一课》(A First Course on Probability by Sheldon Ross)。

参考资料

[1]原始文件下载: http://cs229.stanford.edu/summer2019/cs229-prob.pdf

[2]石振宇: https://github.com/szy2120109

[3]黄海广: https://github.com/fengdu78