线性代数基础及矩阵求导

“矩阵的本质就是线性方程式，两者是一一对应关系。”

线性代数是机器学习中重要的数学基础。本文主要总结基本概念、基本运算和矩阵求导，我想这些不会让人很有压力，且足够理解很多机器学习的计算过程。

基本概念

张量（tensor）（张飞 tensorfly 的弟弟 张流 tensorflow）

特殊情况就是 二维张量是矩阵（matrix），一维张量是向量（vector），零维张量就是标量（scalar）。这样理解会不会更简单点？

矩阵的转置（tanspose）：将矩阵沿着对角线翻转一下。

(

A⊤

)i,j

=

Aj,i

A=

⎡⎣⎢

x11

x21

x31

x12

x22

x32

⎤⎦⎥

⟹

A⊤

=[

x11

x21

x21

x22

x31

x32

]

基本运算

加法：

乘一个常数：

矩阵点乘：

乘积-哈达马积( hadamard product)：

直积：

通常用到的向量与矩阵，矩阵与矩阵的乘积是点乘，点乘就是解方程式。这样理解，能方便区分和记忆，看下图：

矩阵求导

也叫作矩阵微分。

包括分子、分母布局概念及标量、向量与矩阵的求导等内容。