矩阵求导 -- 机器学习常用

维基百科(最全最详细):

https://en.wikipedia.org/wiki/Matrix_calculus

分子、分母布局:

分子布局:分子为列向量,或者分母为行向量;

分母布局:分母为列向量,或者分子为行向量;

运算类型:

标量,向量,矩阵

运算规则:

矩阵的求导就是在一定规则下把向量或者矩阵展开,一一对应进行求导。

需要注意的规则:(以下公式默认在分子布局下的结果,若分母布局需要转置)

  • 在涉及矩阵的求导时,分子布局下无需转置,分母布局下需要转置;

常用公式:

,若A为对称矩阵,则

遇到不会的查表吧!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

一个模型搞定所有风格转换,直接在浏览器实现(demo+代码)

用一个模型就能实现所有类型的风格转换!一个名为Arbitrary Image Stylization in the Browser的项目最近火起来。

16120
来自专栏ml

faster-rcnn系列笔记(一)

目录:     1. 序言     2.正文        2.1  关于ROI        2.2  关于RPN        2.3 关于anchor  ...

44190
来自专栏wym

OpenCV-3计算机视觉(Canny边缘检测)

函数原型:edge = cv2.Canny(image, threshold1, threshold2[, edges[, apertureSize[, L2g...

15240
来自专栏ATYUN订阅号

使用p值进行统计假设检验的简介

我们可以通过假定具体结构来解释数据,并使用统计方法来确认或否定假设。这种假定被称为假设(hypothesis),用于此目的的统计检验被称为统计假设检验(stat...

17140
来自专栏PPV课数据科学社区

KNN算法在保险业精准营销中的应用

一、KNN算法概述 KNN是Machine Learning领域一个简单又实用的算法,与之前讨论过的算法主要存在两点不同: 它是一种非参方法。即不必像线性回归、...

33160
来自专栏机器学习算法与理论

PAF基于PAF(部分亲和字段)的实时多人2D姿态估计-CMU_openpose

这是CVPR2017的一篇文章。 在本文中,文章通过实时算法来检测图像中多个人的二维姿态。 文章提出了关键点关联的明确的非参数表示,其编码人体肢体...

49860
来自专栏机器学习、深度学习

视频中的运动特征--Learning Motion Patterns in Videos

Learning Motion Patterns in Videos CVPR2017 Torch code: http://thoth.inria...

25160
来自专栏AI研习社

人工智能也要进击二次元界了:深度学习简化素描 So Easy!

素描是表达艺术思想重要的第一步,并迭代地进行设计优化。它使得艺术家们迅速地把他们的思想呈现在纸上。优先考虑尽快地将概念和想法表达出来,而非精美的细节,因而得到是...

12010
来自专栏大数据挖掘DT机器学习

机器学习算法GBDT的面试要点总结

? def findLossAndSplit(x,y): # 我们用 x 来表示训练数据 # 我们用 y 来表示训练数据的label ...

622100
来自专栏机器学习算法与理论

基于面部视觉的疲劳检测-哈欠

基于视觉的疲劳检测可以认为大致分为三个部分,点头,哈欠,眨眼。分别为姿态、嘴部特征、眼部特征。 本文主要介绍哈欠的测定方法。 首先研究了陈博士《基于可拓学与面部...

54650

扫码关注云+社区

领取腾讯云代金券