矩阵求导笔记

符号约定

矩阵求导

矩阵A对矩阵B求导的本质：矩阵A的每个元素分别对矩阵B中的每个元素进行求导。

不同维度的A和B，其导数个数：

A1*1  B1*1: 1个导数
Am*1  B1*1: m个导数
Am*1  Bp*1: m*p个导数
Am*n  Bp*q: m*n*p*q个导数

标量函数和向量函数

标量函数：结果为标量的函数；

向量函数：结果为向量的函数。

以分母布局为例的矩阵求导的基本原则

1. 原则1：如果分子是标量函数，分母是列向量，那么求导结果要写成分母的形式，也就是列向量。

2. 原则2：如果分子是列向量，分母是标量，那么求导结果要写成分子转置的形式，也就是行向量。

3. 拓展：如果分子是列向量m*1，分母也是列向量p*1，首先可以根据原则1写成列向量的形式p*1，然后里面的每个元素可以根据原则2写成行向量的形式，最终结果是p*m。

例1

A和x是p*1的矩阵，ATx = xTA，它们对x求导结果都是A。

例2

所以，公式2：

最小二乘估计推导

有用的公式

一些说明

1. 除了分母布局外，还有分子布局、混合布局。分子布局和分母布局通常差一个转置，但不绝对。

2. 布局没有优劣之分，适合自己的才是最好的，还要注意保持计算的连贯性。

3. 根据导数矩阵的维度来判断别人的布局。