专栏首页中科院渣渣博肆僧一枚矩阵求导、几种重要的矩阵及常用的矩阵求导公式

矩阵求导、几种重要的矩阵及常用的矩阵求导公式

原文链接:https://blog.csdn.net/daaikuaichuan/article/details/80620518

一、矩阵求导

  一般来讲,我们约定x=(x1,x2,...xN)T,这是分母布局。常见的矩阵求导方式有:向量对向量求导,标量对向量求导,向量对标量求导。

1、向量对向量求导

2、标量对向量求导

3、向量对标量求导

其他的可以参考wiki:维基百科矩阵求导公式

二、几种重要的矩阵

1、梯度(Gradient)

2、雅克比矩阵(Jacobian matrix)

3、海森矩阵(Hessian matrix)

三、常用的矩阵求导公式

参考: https://blog.csdn.net/xtydtc/article/de

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 路径压缩

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    于小勇
  • 平衡二叉树(AVL树)

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    于小勇
  • Tikhonov正则化选取的方法

    最小二乘矩阵求解与正则化,最小二乘是最常用的线性参数估计方法,早在高斯的年代,就用开对平面上的点拟合线,对高维空间的点拟合超平面。

    于小勇
  • 矩阵和向量求导入门

    本文主要介绍在机器学习公式推导过程中经常会用到的矩阵和向量求导入门知识。之前的文章也提过,本科的高数和线性代数课程中一般都没有介绍这部分知识,于是可能就有朋友会...

    阿波张
  • 深度学习中的参数梯度推导(一)下篇

    在《深度学习中的参数梯度推导(一)上篇》中,我们总结了各常见(向量对矩阵,矩阵对向量)的导数定义。我们还学习了矩阵微分和矩阵导数的关系,以及一些常见的矩阵微分性...

    灯塔大数据
  • 任务自适应非对称深度交叉模式散列(CS.IR)

    有监督的跨模态散列旨在将具有异构语义标签的异构模态数据的语义相关性嵌入到二进制散列码中。由于其在检索和存储效率方面的优势,它被广泛用于解决有效的跨模式检索。但是...

    蔡小雪7100294
  • 任务自适应非对称深度交叉模式散列(CS.IR)

    有监督的跨模态散列旨在将具有异构语义标签的异构模态数据的语义相关性嵌入到二进制散列码中。由于其在检索和存储效率方面的优势,它被广泛用于解决有效的跨模式检索。但是...

    蔡小雪7100294
  • LinearAlgebra_3

    矩阵空间秩一矩阵小世界图 矩阵空间 秩一矩阵 小世界图 图和网络 零空间 左零空间 行空间 欧拉公式 工业用公式 正交向量和子空间 向量正交 子空间正交 矩阵的...

    用户1147754
  • C#系列之编程语言好坏撕逼大战

    我是攻城师
  • aarch64下NEON的使用与思考

    cortex-a系列有偏重能耗与偏重性能的两个方向,对于偏重能耗的芯片往往我们可以不使用,而偏重性能的芯片我们不能去掉FPU与NEON,所以一般做这样的划分:

    bigmagic

扫码关注云+社区

领取腾讯云代金券