本文承接上篇 https://zhuanlan.zhihu.com/p/24709748,来讲矩阵对矩阵的求导术。使用小写字母x表示标量,粗体小写字母 表示列向量,大写字母X表示矩阵。矩阵对矩阵的求导采用了向量化的思路,常应用于二阶方法求解优化问题。
首先来琢磨一下定义。矩阵对矩阵的导数,需要什么样的定义?第一,矩阵对矩阵的导数应包含所有mnpq个偏导数,从而不损失信息;第二,导数与微分有简明的联系,因为在计算导数和应用中需要这个联系;第三,导数有简明的从整体出发的算法。我们先定义向量对向量的导数 ;再定义矩阵的(按列优先)向量化,并定义矩阵F对矩阵X的导数。导数与微分有联系。几点说明如下:
然后来建立运算法则。仍然要利用导数与微分的联系,求微分的方法与上篇相同,而从微分得到导数需要一些向量化的技巧:
观察一下可以断言,若矩阵函数F是矩阵X经加减乘法、行列式、逆、逐元素函数等运算构成,则使用相应的运算法则对F求微分,再做向量化并使用技巧将其它项交换至左侧,即能得到导数。
再谈一谈复合:假设已求得,而Y是X的函数,如何求呢?从导数与微分的联系入手, ,可以推出链式法则。
和标量对矩阵的导数相比,矩阵对矩阵的导数形式更加复杂,从不同角度出发常会得到形式不同的结果。有一些Kronecker积和交换矩阵相关的恒等式,可用来做等价变形:
接下来演示一些算例。
例1:,是矩阵,求。
解:先求微分:,再做向量化,使用矩阵乘法的技巧,注意在dX右侧添加单位阵:,对照导数与微分的联系得到。
特例:如果退化为向量, ,则根据向量的导数与微分的关系 ,得到 。
例2: ,是矩阵,求和。
解:使用上篇中的技术可求得 。为求,先求微分:,再做向量化,使用转置和矩阵乘法的技巧,对照导数与微分的联系,得到,注意它是对称矩阵。在X是对称矩阵时,可简化为。
例3:,是,是,是矩阵,为逐元素函数,求。
解:先求微分:,再做向量化,使用矩阵乘法的技巧:,再用逐元素乘法的技巧:,再用矩阵乘法的技巧:,对照导数与微分的联系得到。
例4【一元logistic回归】:。其中是取值0或1的标量,,是向量。
解:使用上篇中的技术可求得,其中为sigmoid函数。为求,先求微分: ,其中为sigmoid函数的导数,对照导数与微分的联系,得到。
推广:样本, , ,,求和。有两种方法,方法一:先对每个样本求导,然后相加;方法二:定义矩阵,向量,将l写成矩阵形式,进而可以求得。
例5【多元logistic回归】:,求和 。
解:上篇例3中已求得。为求,先求微分:定义,,这里需要化简去掉逐元素乘法,第一项中 ,第二项中,故有,其中 ,代入有,做向量化并使用矩阵乘法的技巧,得到。
最后做个总结。我们发展了从整体出发的矩阵求导的技术,导数与微分的联系是计算的枢纽,标量对矩阵的导数与微分的联系是,先对f求微分,再使用迹技巧可求得导数,特别地,标量对向量的导数与微分的联系是;矩阵对矩阵的导数与微分的联系是,先对F求微分,再使用向量化的技巧可求得导数,特别地,向量对向量的导数与微分的联系是。
参考资料: