专栏首页AI启蒙研究院【读书笔记】之矩阵知识梳理

【读书笔记】之矩阵知识梳理

这篇笔记,主要记录花书第二章关于线性代数知识的回顾。希望把常用的概念和公式都记录下来,同时标记编号(为了方便,标记序号与书中一致),在后续公式推导过程中可以直接关联使用。

梳理成文章,主要是以后看公式的时候方便查找,而不需要去翻书了~

一些概念

标量(scalar):标量就是一个单独的数。

向量(vector):向量是一列数组。

矩阵(matrix):矩阵是一个二维的数组。

张量(tensor):张量是一个超过两维的数组。

向量和矩阵的一些性质

矩阵的转置(transpose):矩阵的转置就是将矩阵验证左上角至右下角的对角线为轴的一个镜像。表示成:

.矩阵的乘法(matrix product):两个矩阵相乘,表示成:C=AB.

元素对应乘积(element-wise product):两个矩阵中对应元素乘积,表示成:

点积(dot product): 两个相同维度的x和y的点积可以看成矩阵的乘积,表示成

一些性质:在运算、简化函数的时候非常有用,在本章最后一节PCA算法中可以看到。

单位矩阵和逆矩阵

单位矩阵(identity matrix):主对角线都是1,其余都是0的矩阵。

逆矩阵( matrix inversion ):满足如下条件的矩阵称为逆矩阵。

线性相关和生成子空间

线性相关(linear dependence):在向量空间中,存在有限个其他向量的线性组合所表示,我们把这种冗余成为线性相关,反之为线性无关(linear independent)。线性组合(linear combination)可以表示为如下公式:

生成子空间(span):在向量空间中,其中一组最大的线性无关的组,成为生成子空间。

范数

范数(norms):通常我们使用范数来定义某个向量的大小,通常如下公式表示。当p取值为1的时候称为一范,取值为2的时候称为二范。

范数的基本性质:正定性、齐次性、三角不等式。

特殊的矩阵和向量

对角矩阵(Diagonal matrices):是一个主对角线之外的元素皆为0的矩阵。

对称矩阵(symmetric matrix):对称矩阵是指一个矩阵等于他自身转置的矩阵。

正交矩阵(orthogonal matrix):满足如下公式的n介矩阵,称为正交矩阵。

单位向量(unit vector):单位向量的大小是1,即满足如下条件的向量称为单位向量。

特征分解

特征向量(eigenvector):方阵A的特征向量是指与A相乘后相当于对该向量进行缩放的非零向量v。λ则被称为这个矩阵A的特征值(eigenvalue)

特征分解(eigendecomposition):是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。需要注意只有可对角化矩阵才可以施以特征分解。A的特征分解表示成如下形式。

奇异值分解

奇异值分解(singular value decomposition):与特征分解类似,奇异值分解也是分解矩阵的一种方法,只是这次我们将向量A分解成三个矩阵的乘积的形式。如下公式表示:

其中,对角矩阵D(不一定是方阵)称为矩阵A的奇异值(singular values),矩阵U的列向量称为左奇异向量(left-singularvectors),矩阵V的列向量称为右奇异向量(right-singularvectors)

伪逆

伪逆(Moore-Penrose pseudoinverse):对于非方阵矩阵,没有逆矩阵的定义。伪逆的定义帮助我们取得了一定的进展。矩阵A的伪逆定义为如下公式:

但是在实际计算伪逆的时候,没有用到这个定义去计算,而是使用如下公式。其中V,D,U是对矩阵A进行奇异值分解后的矩阵。矩阵D的伪逆,是对其非零元素取到数之后转置得到的。

矩阵的迹操作

矩阵的迹(Trace):矩阵主对角线上所有元素的和称为矩阵的迹。表示为:

迹的一些性质:

行列式

行列式(determinant):一个方阵的行列式,是将方阵映射到实数的一个函数。记做det(A).行列式等于矩阵特征值的乘积.

PCA算法举例

问题:假设在n维空间中存在m个点x(1)~x(m),我们希望对这些点进行有损压缩。但是损失的精度尽可能的少。

分析:假设我们能找到一个l维度空间(l<n)存在点c(1)~c(m),同时找到一个编码转换函数f(x)=c;还有一个解码函数g(c),是的x与等于g(f(x))。那么问题就解决了。

推导过程如下,字写得丑,将就看吧………………

根据最后一步,这个优化问题可以通过特征分解来求解,具体来讲,就是最优的d向量,就是

的最大特征值对应的特征向量。

本文分享自微信公众号 - AI启蒙研究院(AIEvolve),作者:Daniel

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-01-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 通往未来的创新之路(一) --- 模式创新

    用户1594945
  • 【通俗理解】贝叶斯统计

    用户1594945
  • AI在FinTech金融科技领域最新现状及趋势分析

    自从2016年AlphaGo横空出世后,AI人工智能成为业界的热门话题, 并且在风投领域, FinTech甚至各个传统行业都掀起一场革新浪潮。本文希望简单研究下...

    用户1594945
  • 另一个角度看矩阵分析

    这个问题很好解释,矩阵使得公式表达更加的方便。就这一便利性而言就值得引入矩阵这一概念,譬如:

    sea-wind
  • 透析矩阵,由浅入深娓娓道来—高数-线性代数-矩阵

    线性代数是用来描述状态和变化的,而矩阵是存储状态和变化的信息的媒介,可以分为状态(静态)和变化(动态)信息来看待。

    周陆军
  • 数学实验(预习)

    也可以用初等变换求逆矩阵,构造一个n行2n列的矩阵(A E),并进行初等变换,A编程单位矩阵的时候,E就变成了A的逆矩阵.

    云深无际
  • 吹弹牛皮之Unity 引擎基础 - 矩阵(三)

    上图中展示了p,q两个基向量(单位向量)绕原点旋转后得到的新基向量p'和q'。根据勾股定理有:

    用户7698595
  • 吹弹牛皮之Unity 引擎基础 - 矩阵(一)

    沉迷于硬笔的练习偷懒了很长时间。过去的7月份仅仅更新了一篇文章,实在是深表遗憾。接着之前的向量篇小菜继续向下探索。谢谢大家长久来的鼓励和支持。

    用户7698595
  • 一起来学matlab-matlab学习笔记10 10_1一般运算符

    本文为matlab自学笔记的一部分,之所以学习matlab是因为其真的是人工智能无论是神经网络还是智能计算中日常使用的,非常重要的软件。也许最近其带来的一...

    DrawSky
  • 吴恩达机器学习笔记18-逆矩阵、矩阵转置

    “Linear Algebra review(optional)——Inverse and transpose”

    讲编程的高老师

扫码关注云+社区

领取腾讯云代金券