矩阵求导、几种重要的矩阵及常用的矩阵求导公式

一、矩阵求导

  一般来讲，我们约定x=(x1,x2,...xN)T，这是分母布局。常见的矩阵求导方式有：向量对向量求导，标量对向量求导，向量对标量求导。

1、向量对向量求导

这里写图片描述

2、标量对向量求导

这里写图片描述

这里写图片描述

3、向量对标量求导

这里写图片描述

其他的可以参考wiki：维基百科矩阵求导公式

二、几种重要的矩阵

1、梯度（Gradient）

这里写图片描述

这里写图片描述

2、雅克比矩阵（Jacobian matrix）

这里写图片描述

这里写图片描述

3、海森矩阵（Hessian matrix）

这里写图片描述

三、常用的矩阵求导公式

这里写图片描述

这里写图片描述

参考： https://blog.csdn.net/xtydtc/article/de