正定，半正定矩阵

本文介绍正定矩阵和半正定矩阵。

定义

正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。

正定

• 给定一个大小为n \times n 的实方阵A ，若对于任意长度为n的非零向量x ，有x^TAx>0A是一个正定矩阵。
• 此时，若A为对称方阵，则称A为对称正定矩阵。

半正定

• 给定一个大小为n \times n 的实方阵A ，若对于任意长度为n的非零向量x ，有x^TAx \ge 0 恒成立，则矩阵A是一个半正定矩阵。
• 此时，若A为对称方阵，则称A为对称半正定矩阵。

可以看到半正定矩阵包含了正定矩阵，仅多出了等于零的一种情况，类似于正数和非负数的关系。

性质

以正定矩阵为例，半正定矩阵仅多了等于零的情况。

• 正定矩阵的行列式恒为正；
• 实对称矩阵A正定当且仅当A与单位矩阵合同；
• 若A是正定矩阵，则A的逆矩阵也是正定矩阵；
• 两个正定矩阵的和是正定矩阵；
• 正实数与正定矩阵的乘积是正定矩阵。

等价命题

对于n阶实对称矩阵A，下列条件是等价的（以正定矩阵为例）：

• A是正定矩阵；
• A的一切顺序主子式均为正；
• A的一切主子式均为正；
• A的特征值均为正；
• 存在实可逆矩阵C，使A=C′C；
• 存在秩为n的m×n实矩阵B，使A=B′B；
• 存在主对角线元素全为正的实三角矩阵R，使A=R′R 。

协方差矩阵半正定

• 在概率统计中，多维变量的协方差矩阵是对称矩阵，事实上同时它也是半正定矩阵：

推导

• 考虑一个由n个m维向量刻画的分布，即共n条数据，每条数据由一个m维向量表示：

• X的均值为{\mu _X}
• X的协方差矩阵为:

• 协方差矩阵 \Sigma_{X}，对其进行SVD分解：

• 由于 \Sigma_{X} 是对称矩阵，可以得到：

• 而且U是正交矩阵，有：

• 令Y = {U^T}X - {U^T}{\mu _X}：

• 由于\Sigma是特征值为对角线元素的对角阵，因此对角线外元素为0，表示Y中向量相互之间不相关。
• 对于任意一个\Sigma中的特征值\lambda_i，计算公式为：

• 因此协方差矩阵的特征值非负，是半正定矩阵。

参考资料

• https://zhuanlan.zhihu.com/p/44860862
• https://baike.baidu.com/item/正定矩阵/11030459?fr=aladdin