LinearAlgebra_3

矩阵空间、秩一矩阵、小世界图

矩阵空间

矩阵空间也是一种向量空间,对加法和数乘(或者说线性组合)封闭。 它的子空间,比如对称矩阵、上三角矩阵也是向量空间。

以M3∗3M_{3*3}矩阵为例,维度是9。其对阵矩阵SS的维度是6,其上三角矩阵UU的维度是6。 S⋂US \bigcap U的维度是3,S⋃US \bigcup U不是线性空间,S+US+U的维度是9。 其中,

S+U=S + U = any element of S + any element of U

有一个公式:

dim(S)+dim(U)=dim(S⋂U)+dim(S+U)

dim(S)+dim(U)=dim(S \bigcap U) + dim(S+U)

此外,还有一种特殊的向量空间(特殊在并不包含向量)。 比如解微分方程:

d2ydx2+y=0

\frac{\mathrm{d}^2y}{\mathrm{d}x^2} + y = 0 这是一个线性微分方程,所求的解可以理解为寻找解空间的一组基底。

这组基底可以是(【cosx,0】,【0,sinx】),也可以是(【e^(ix),0】,【e^(-ix),0】)。

此外,这组解空间的维数是2,因为d2y/dx2\mathrm{d}^2y/\mathrm{d}x^2。

秩一矩阵

秩为1的矩阵,就像building blocks for all matrics

比如

A = [1 4 5 ] = [1] * [1 4 5]
    [2 8 10]   [2]

如果A5∗11A_{5*11},rank(A)=4rank(A)=4,那么原矩阵可以视为4个秩一矩阵的组合。

小世界图

Graph = {nodes, edges} 世界是很小的,往往通过几个edge就可以连到意想不到的node上面。 六度理论。

图和网络

上面的图,可以表示电路,水路,穹顶等,图论在现实生活中应用很广泛。 而且实际中的矩阵一般都是稀疏的。

下面的例子,仅以节点代表电位,连接节点的线代表电流通道。

零空间

考虑列的线性组合,如果列是相关的,那么就形成了一个loop电流通路。 零空间代表每个点的电势应该怎么样,才可以保证每个连接上的电流是0。 本题中零空间是一维的,说明在整个回路中如果需要确定基点的电势,因此一般选择一个点接地(零电位点),主要原因就是零空间是一维的。

e=Ax

e = Ax

左零空间

下面考虑$A^Ty=0,也就是每个连接上的电流是多少,才能够保证在每个node上的电流为0。 这个也叫作基尔霍夫电流定律,KCL。

这个题目中的维度是5-3=2。

行空间

行如果独立的话,那么就不是一个loop回路。 独立的最大数目的行,被称作tree。

欧拉公式

dim(N(AT))=m−r

dim(N(A^T)) = m-r loops = edges - (nodes-1)

工业用公式

no source term的电路公式可以表述为: e=Axe = Ax y=Cey = Ce ATy=0A^Ty=0 合在一起就是

ATCAx=0

A^TCAx=0 考虑了外加的source后: ATy=fA^Ty=f

ATCAx=f

A^TCAx=f

ATAA^TA总是对称的。

正交向量和子空间

向量正交

向量点积为0的时候,表示向量正交,夹角为90度。

子空间正交

子空间正交,当且仅当子空间A的任意向量与子空间B的任意向量都垂直。

两个子空间正交,那么交点肯定不会有非零向量。

矩阵的bigPicture

行空间和零空间正交,且构成正交补(两个子空间加起来填补了整个Rn\mathrm{R^n})。 根据Ax=0Ax=0可以看出来,零空间的任何一个向量与行空间向量的线性组合的点积都是0。

无解方程组的最优解

现实中,很多方程Ax=bAx=b都是无解的,这种情况一般是m>nm>n。 比如多次对卫星的距离测量,多次测量脉搏等。

可以使用ATAA^TA构建一个更好的矩阵。 这个矩阵的性质有:

  1. N(ATA)=N(A)N(A^TA) = N(A)
  2. rank(ATA)=rank(A)rank(A^TA) = rank(A)
  3. ATAA^TA是方阵,对称矩阵,但是不一定可逆

求解的方法是:

Ax=b−−>>ATAx=b

Ax=b -->> A^TAx=b

子空间投影

二维空间的简单投影

主要有三个式子:

x=aTb/aTa

x = a^Tb/a^Ta

p=a∗x=a∗aTbaTa

p = a*x = a*\frac{a^Tb}{a^Ta}

P=aaTaTa

P = \frac{aa^T}{a^Ta}

关于投影矩阵P

  1. PT=PP^T=P
  2. Pk=PP^k=P

多维空间情况

AT(b−Pb)=0

A^T(b-Pb)=0

AT(b−Ax^)=0

A^T(b-A\hat{x})=0

x^=(ATA)−1ATb

\hat{x} =(A^TA)^{-1}A^Tb

p=Ax^=A(ATA)−1ATb

p = A\hat{x}=A(A^TA)^{-1}A^Tb

P=A(ATA)−1AT

P = A(A^TA)^{-1}A^T

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序人生 阅读快乐

[C数值算法]

本书编写了300多个实用而有效的数值算法C语言程序。其内容包括:线性方程组的求解,逆矩阵和行列式计算,多项式和有理函数的内插与外推,函数的积分和估值,特殊函数的...

362
来自专栏PPV课数据科学社区

为你分享73篇论文解决深度强化学习的18个关键问题

本文共2434字,建议阅读5分钟。 本文为大家分享了73篇论文,介绍深度学习的方法策略以及关键问题分析。

1192
来自专栏CDA数据分析师

收藏 | 机器学习、NLP、Python和Math最好的150余个教程

? 尽管机器学习的历史可以追溯到1959年,但目前,这个领域正以前所未有的速度发展。最近,我一直在网上寻找关于机器学习和NLP各方面的好资源,为了帮助到和我有...

2075
来自专栏AI科技大本营的专栏

资源 | 机器学习、NLP、Python和Math最好的150余个教程(建议收藏)

编辑 | MingMing 尽管机器学习的历史可以追溯到1959年,但目前,这个领域正以前所未有的速度发展。最近,我一直在网上寻找关于机器学习和NLP各方面的好...

3296
来自专栏AI2ML人工智能to机器学习

化曲为直の神奇

要学好人工智能、机器学习、统计、 计量、量化、优化等等和统计相关的内容, 少不了三大块数学: 微积分、线性代数和概率统计。 前面我们在“概率分布の三奥义”里面探...

330
来自专栏AI科技大本营的专栏

谷歌大脑深度学习从入门到精通视频课程[10.1]:自然语言处理——动机

AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会在公众号中推送,并且对视频中的 PPT 进行讲解。课后,我们会设计一系列的问题来巩...

2846
来自专栏AI研习社

当前深度学习和 SLAM 结合有哪些比较好的论文

简单介绍几个比较有代表性的工作, 分为以下几类: I. 相机重定位(Relocalization) Deep Learning 和 SLAM 结合的开山之作...

4637
来自专栏程序员的诗和远方

Python 做图片清晰度识别

如果之前了解过信号处理,就会知道最直接的方法是计算图片的快速傅里叶变换,然后查看高低频分布。如果图片有少量的高频成分,那么该图片就可以被认为是模糊的。然而,区分...

1481
来自专栏钱塘大数据

32类计算机与数学领域最为重要的算法

导读: 奥地利符号计算研究所的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科...

2758
来自专栏新智元

ICLR 2017深度学习(提交)论文汇总:NLP、无监督学习、自动编码、RL、RNN(150论文下载)

【新智元导读】ICLR 2017 将于2017年4月24日至26日在法国土伦(toulon)举行,11月4日已经停止接收论文。本文汇总了本年度NLP、无监督学习...

41410

扫码关注云+社区