矩阵求导 -- 机器学习常用

维基百科(最全最详细):

https://en.wikipedia.org/wiki/Matrix_calculus

分子、分母布局:

分子布局:分子为列向量,或者分母为行向量;

分母布局:分母为列向量,或者分子为行向量;

运算类型:

标量,向量,矩阵

运算规则:

矩阵的求导就是在一定规则下把向量或者矩阵展开,一一对应进行求导。

需要注意的规则:(以下公式默认在分子布局下的结果,若分母布局需要转置)

  • 在涉及矩阵的求导时,分子布局下无需转置,分母布局下需要转置;

常用公式:

,若A为对称矩阵,则

遇到不会的查表吧!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习、深度学习

视频中的运动特征--Learning Motion Patterns in Videos

Learning Motion Patterns in Videos CVPR2017 Torch code: http://thoth.inria...

2246
来自专栏琦小虾的Binary

背景提取算法——帧间差分法、背景差分法、ViBe算法、ViBe+算法

背景提取算法——帧间差分法、背景差分法、ViBe算法、ViBe+算法 背景提取是在视频图像序列中提取出背景,背景就是场景中静止不动的景物。因为摄像机不动,因此图...

97010
来自专栏AI研习社

人工智能也要进击二次元界了:深度学习简化素描 So Easy!

素描是表达艺术思想重要的第一步,并迭代地进行设计优化。它使得艺术家们迅速地把他们的思想呈现在纸上。优先考虑尽快地将概念和想法表达出来,而非精美的细节,因而得到是...

881
来自专栏我是攻城师

计算机图形处理的一些知识

32711
来自专栏个人分享

行为统计学第二章知识总结(未完)

如何将数据组织成某些可理解的形式,使得他可以比较容易地发现数据的趋势,并与其他人交流,这就是描述性统计的任务:简化结构并整理组织数据。整理一组数据的最常用过程是...

531
来自专栏大数据挖掘DT机器学习

机器学习算法GBDT的面试要点总结

? def findLossAndSplit(x,y): # 我们用 x 来表示训练数据 # 我们用 y 来表示训练数据的label ...

54710
来自专栏ml

faster-rcnn系列笔记(一)

目录:     1. 序言     2.正文        2.1  关于ROI        2.2  关于RPN        2.3 关于anchor  ...

4009
来自专栏机器学习算法与Python学习

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

用一个模型就能实现所有类型的风格转换!一个名为Arbitrary Image Stylization in the Browser的项目最近火起来。

1172
来自专栏ml

双边过滤算法

     双边过滤算法作为一种改进的高斯过滤算法,在图像去噪,和均匀模糊(又称为磨皮),去锯齿效应上有不错的效果.双边过滤是采用Raised cosines函数...

37014
来自专栏wym

OpenCV-3计算机视觉(Canny边缘检测)

函数原型:edge = cv2.Canny(image, threshold1, threshold2[, edges[, apertureSize[, L2g...

1014

扫码关注云+社区