来学习一下概率论基本知识，它能让防止你的模型过拟合

晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI

线性代数和概率论是机器学习的必备基础课程。前几天，量子位已经推荐了一个可以互动的线性代数课程。

最近，有位印度小哥Nimish Mishra在Medium上分享了一篇概率论基础知识，也是一篇零基础的入门课程。

这篇文章提到了很多基本概念和重要的变量分布。其中有些概念，比如协方差，可以帮助我们理解机器学习中变量之间的关系。

这位小哥提到的指数分布，则在神经网络调参中有着直接的应用。

下面，就让我们一起来跟他学习一下吧。

概率论中的基本概念

我们先从掷硬币开始谈起。

随机变量可以是离散的，也可以是连续的。比如抛硬币的结果就是一个离散的随机变量，而降雨量就是一个连续的随机变量。

为了方便起见，我们可以定义一个变量x，当硬币出现正面时x=1，当硬币出现反面时x=0。对于降雨量这个随机变量而言，我们只能定义x是一个大于0的实数。

随机变量的结果虽然不可预知，但并不是完全不可捉摸的，它有一定的规律性，这就是概率分布函数。

对于离散变量，它是x的概率为p，我们可以定义f(x)=p。在抛硬币这个问题中，f(0)=1/2，f(1)=1/2。

对于连续变量，x的取值是连续的，我们不能再说x等于某个值的概率是多少，而是用一个概率密度函数来表示它，当x取值在a和b两个数之间时，它的概率可以用以下积分结果表示：

弄清楚概率分布函数后，接下来我们就可以定义这些量：期望值、方差、协方差。

期望值又叫平均值，一般用μ表示。以离散随机变量为例，把变量的值和对应的概率相乘，然后把所有乘积相加起来，就是期望值：

方差用来衡量随机变量偏离平均值的程度，它是变量X减平均值μ的平方——(X-μ)^2——的平均值。

协方差表示不同随机变量之间关联的强弱。下面是四个变量ABCD之间的协方差表格：

当两个变量的协方差是负数时，表示一个变量值增加的同时，另一个变量值在减少。如果协方差是0，表示一个变量的值不会影响另一个变量。

常见的几种概率分布

我们还是以抛硬币为例，这个随机变量只能取正面1、反面0两个值，是一种伯努利分布：

对抛硬币来说， φ=0.5。

如果我们要预测n次抛硬币中有k次出现正面的概率是多少，还需要引入二项分布：

其中p表示硬币在单次投掷中出现正面的概率，也就是0.5。

以上是离散变量的情况，对于连续的随机变量，还有最常见的高斯分布（正态分布）、指数分布等等。

高斯分布在概率论中具有非常重要的地位，在统计学中，很多随机变量都符合高斯分布。它的定义如下：

其中μ是期望值，σ是标准差（方差的平方根）。高斯分布的函数图像如下，变量在平均值附近左右一个标准差内的概率是68.2%。

在深度学习中，我们需要调节神经网络的参数以防止过度拟合。这时候会用到指数分布：

λ值越大，变量x的分布越集中。

实际应用

概率不仅仅是掌握机器学习必需的基础知识，它也有一些直接的应用。

在前文中我们提到过，指数分布可以帮助调节神经网络的参数，防止过拟合。这一点很重要，因为过拟合会导致神经网络的性能不佳。

在Kaggle的一项预测客户交易的任务中，作者Nimish用概率论的方法找到了内部规律。

Nimish绘制了200个变量对结果分布的影响：

这组图是不同的两个参数（以0和1表示）条件下，相同变量的不同概率分布。第一行中的前3个图分布不完全相同，而第4个图几乎完全重叠。所以，第4个参数对随机变量可能没有影响。

以上只是对概率论的初步介绍，如果想要了解更多，可以去看一些相关专辑，也可以去看看Nimish的专栏文章。

原文链接： https://towardsdatascience.com/probability-theory-for-deep-learning-9551b9255cf0

— 完 —