正交-不相关-独立

本文介绍随机变量中正交、不相关、独立的区别和联系。

概述

三者均是描述随机变量之间关系的概念，看似都可以表示两个随机变量的疏远关系，但定义和约束均有不同。

• 考察m维随机变量X,Y之间的关系。

定义

正交

定义R(X, Y) = E[XY]为相关函数：若R(X, Y)=0，称X,Y正交

不相关

定义 E[XY] = E[X]E[Y]，则X,Y不相关

• X,Y的协方差：

不相关也可以用协方差为0表示

• X,Y的相关系数：

不相关也可以用相关系数为0表示

独立

独立一般用他们的概率密度函数来表示。联合分布等于他们各自的独立边缘分布的乘积，则称为独立：

关系

独立 -> 不相关

独立是对变量更严苛的要求，如果两个随机变量独立，则必定不相关，也就是说独立是不相关的充分不必要条件。

• 若已知X,Y联合概率密度f(x, y)等于二者边缘密度函数g(x), h(y)的乘积，则有：

因此独立变量不相关，而相反不相关无法直接推导出独立

不相关 --高斯分布–> 独立

在随机变量服从高斯分布时，不相关可以推导出独立：

• 我们此时考虑稍复杂一些的情况，X为n维随机变量：

• 随机变量之间两两不相关，并且服从高斯分布：

• 那么此时X的联合概率密度函数为：

• 其中{\bf{\Sigma } }为协方差矩阵，因为随机变量之间两两不相关：

• 其中\sigma_i 为x_i的标准差，那么联合概率密度函数可以写为：

• 因此在随机变量服从高斯分布时，不相关与独立等价，互为充要条件。

正交 – 不相关

• 根据定义可以得知： 当E[X]，E[Y]至少有一个为0时正交等价于不相关。

参考资料

• http://blog.sciencenet.cn/blog-812827-1096465.html
• https://blog.csdn.net/wjj5881005/article/details/53320403/
• https://www.zhihu.com/question/26583332/answer/33327497
• https://baike.baidu.com/item/不相关随机变量/19126995?fr=aladdin