1、 投影矩阵与最小二乘：向量子空间投影在机器学习中的应用最为广泛。就拿最小二乘的线性拟合来说，首先根据抽样特征维度假设线性方程形式，即假设函数。
很多刚刚接触SLAM的小伙伴在看到李群和李代数这部分的时候，都有点蒙蒙哒，感觉突然到了另外一个世界，很多都不自觉的跳过了，但是这里必须强调一点，这部分在后续SLAM的学习中其实是非常重要的基础，不信你看看大神们的论文就知道啦。
数组是存储同一类型数据的数据结构，使用数组时需要定义数组的大小和存储数据的数据类型。
假如你是一家淘宝店店主，你所负责运营的淘宝店2018年全年的流量及交易情况可以看成是一组记录的集合，其中每一天的数据是一条记录，（日期，浏览量，访客数，下单数，成交数，成交金额），这是一个六维的数据，但我们可以发现，“浏览量”和“访客数”往往具有较强的相关关系，而“下单数”和“成交数”也具有较强的相关关系，如果删除其中一个指标，不会丢失太多信息。我们知道，很多机器学习算法的复杂度和数据的维数有着密切关系，甚至与维数呈指数级关联。在实际机器学习中处理成千上万甚至几十万维的情况也并不罕见，在这种情况下，机器学习的资源消耗是不可接受的，因此我们必须对数据进行降维。但降维意味着信息的丢失，不过鉴于实际数据（如上面所述的淘宝店数据）本身常常存在的相关性，我们可以想办法在降维的同时将信息的损失尽量降低，这就是我们要介绍的降维方法——PCA（主成分分析法）。
下文是参考文献 [1] 中所刊登的《关于线性代数的学习改进方法》内容摘录（为了便于阅读，排版和部分内容做了少量修订）。
本文是「小孩都看得懂」系列的第五篇，本系列的特点是极少公式，没有代码，只有图画，只有故事。内容不长，碎片时间完全可以看完，但我背后付出的心血却不少。喜欢就好！
Numpy是Numerical Python extensions 的缩写，字面意思是Python数值计算扩展。Numpy是Python中众多机器学习库的依赖，这些库通过Numpy实现基本的矩阵计算，Python的OpenCV库自然也不例外。
导语：本文详细的解释了机器学习中，经常会用到数据清洗与特征提取的方法PCA，从理论、数据、代码三个层次予以分析。 机器学习，这个名词大家都耳熟能详。虽然这个概念很早就被人提出来了，但是鉴于科技水平的落
导语：本文详细的解释了机器学习中，经常会用到数据清洗与特征提取的方法PCA，从理论、数据、代码三个层次予以分析。
本文主要介绍CS224W的第五课，图的谱聚类。前一章主要讲图的社区，社区是一组节点的集合，社区内部的节点保持紧密的连接，而与图的其他节点连接很少的节点集合。图的社区是从节点间的连接关系来研究图的性质，本章则是从另一个角度（谱聚类）来介绍图。
奇异值分解（The Singular Value Decomposition，SVD）
说明 如无特别说明都是实对称矩阵 定理 对称矩阵的特征值为实数 证明 设复数 为对称矩阵A的特征值，复向量x为对应的特征向量，即 因为x不同于0，所以 定理的意义 由于对称矩阵A的特征
本文承接上篇 https://zhuanlan.zhihu.com/p/24709748，来讲矩阵对矩阵的求导术。使用小写字母x表示标量，粗体小写字母 表示列向量，大写字母X表示矩阵。矩阵对矩阵的求导采用了向量化的思路，常应用于二阶方法求解优化问题。
看到一篇从数学意义上讲解Harris角点检测很透彻的文章，转载自：http://blog.csdn.net/newthinker_wei/article/details/45603583
特征值的性质我们已经知道了，由于是对称矩阵的性质，我们再看下它的特征向量，因为特征向量正交，基于十七讲的内容，我们总可以将正交向量矩阵转化为正交矩阵，因此我们就可以将对角化公式进行如下分解
实对称矩阵有着很好的性质，如果用一句话概括，就是： n阶实对称矩阵必有n个两两正交的实特征向量。
在这篇文章中，我们以几何的视角去观察矩阵奇异值分解的过程，并且列举一些奇异值分解的应用。 介绍 矩阵奇异值分解是本科数学课程中的必学部分，但往往被大家忽略。这个分解除了很直观，更重要的是非常具有实用价值。譬如，Netflix（在线电影租赁公司）对能够提高其电影推荐系统准确率10%的人提供100万美元的丰厚奖金。令人惊奇的是，这个看似简单的问题却非常具有挑战性，相关的团队正在使用非常复杂的技术解决之，而这些技术的本质都是奇异值分解。 奇异值分解简单来讲，就是以一种方便快捷的方式将我们感兴趣的矩阵分解成更简单且
Jacobi方法用于求实对称阵的全部特征值、特征向量。对于实对称阵 A，必有正交阵 Q ，使 QT A Q = Λ 其中Λ是对角阵，其主对角线元素λii是A的特征值，正交阵Q的第j列是A的第i个特征值
特征降维一般有两类方法：特征选择和特征抽取。特征选择即从高纬度的特征中选择其中的一个子集来作为新的特征；而特征抽取是指将高纬度的特征经过某个函数映射至低纬度作为新的特征。常用的特征抽取方法就是PCA。
当遇到指标众多的场景时，以前通常的处理方法基本采用逐步回归的思想。即判断各指标之间的相关程度，保留几个重要的指标， 剔除其它不重要的指标。相关方法有：三大相关系数计算法、多元线性回归法、随机森林法、灰色相关系数法等。
对应于课本（Introduction to Linear Algebra）第六章内容的习题课
数字图像是真实世界中的对象通过光学成像设备在光敏材料上的投影。在3D到2D的转换过程中，深度信息会丢失。从单个或多个图像中恢复有用的3D信息需要使用立体视觉知识进行分析。本文分别介绍了针孔摄像机模型和对极几何的基本知识。
课程主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_LA16.html
这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达：
在之前的一篇文章：划重点！通俗解释协方差与相关系数，红色石头为大家通俗化地讲解了协方差是如何定义的，以及如何直观理解协方差，并且比较了协方差与相关系数的关系。
在线性代数里，正定矩阵 (positive definite matrix) 有时会简称为正定阵。 定义: A A是n阶方阵，如果对任何非零向量xx，都有 xTAx>0 x^TAx> 0，其中 xT x^T 表示 x x的转置，就称AA正定矩阵。
线性代数是用来描述状态和变化的，而矩阵是存储状态和变化的信息的媒介，可以分为状态（静态）和变化（动态）信息来看待。
SLAM的全称——Simultaneous Localization and Mapping(同时定位与地图的构建)。它有三层含义，第一是进行机器人的姿态估计，第二是构建地图，第三是同时进行这两个事情。SLAM是一个鸡生蛋、蛋生鸡的问题，机器人构建地图的时候需要知道自己目前所在的位置(定位)，同时在定位到自己的位置之后要进行下一步——走，需要看周围的地图。
继续上一讲的内容，由上一讲可知我们可以将系数矩阵 A 分解为下三角矩阵和上三角矩阵的乘积，但是我们给定了一个前提假设—— A 在消元过程中不做换行，这一次我们来解决如果在消元过程中存在换行的情况。
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。 PCA的作用 你手上有一批数据，但是特征太多，你感觉数据太稀疏了 你选了一堆特征，但是感觉某些特征之间的相关性太高了，比如用户月消费预测的时候，你选了用户身高以及用户性别这两个特征，一般男生的身高比较高，你觉得特征有点冗余 你的小霸王内存不够，内存只有4个G，装不下太大的矩阵，但是你又不想减少训练数据，N
Python中支持Convex Optimization（凸规划）的模块为CVXOPT,其安装方式为：
今天我们继续MIT的线性代数专题，这一节课的内容关于向量空间，它非常非常重要，也是线性代数的核心，是后面几乎所有内容的基础。
设\(λ=λ_i\)是矩阵\(A\)的一个特征值，则有方程\((A-λ_iv)x=0\),可求得非零解\(x=p_i\)即为\(λ_i\)对应的特征向量。(若\(λ_i\)为实数，则\(p_i\)可取实向量；\(λ_i\)为复数，则\(p_i\)可取复向量)
作者丨莓酊 编辑丨青暮 线性代数（linear algebra）是关于向量空间和线性映射的一个数学分支。 现代线性代数的历史可以上溯到19世纪中期的英国。1843年，爱尔兰数学家哈密顿发现四元数。1844年，赫尔曼·格拉斯曼发表他的著作《线性外代数》（Die lineare Ausdehnungslehre），包括今日线性代数的一些主题。1848年，詹姆斯·西尔维斯特引入矩阵（matrix）。阿瑟·凯莱在研究线性变换时引入矩阵乘法和转置的概念。很重要的是，凯莱使用一个字母来代表一个矩阵，因此将矩阵当做了聚
教程地址：http://www.showmeai.tech/tutorials/34
广义上来说，任何在算法中用到SVD/特征值分解的，都叫Spectral Algorithm。顺便说一下，对于任意矩阵只存在奇异值分解，不存在特征值分解。对于正定的对称矩阵，奇异值就是特征值，奇异向量就是特征向量。
选自deeplearning4j 机器之心编译 参与：蒋思源 本文先简要明了地介绍了特征向量和其与矩阵的关系，然后再以其为基础解释协方差矩阵和主成分分析法的基本概念，最后我们结合协方差矩阵和主成分分析法实现数据降维。本文不仅仅是从理论上阐述各种重要概念，同时最后还一步步使用 Python 实现数据降维。 首先本文的特征向量是数学概念上的特征向量，并不是指由输入特征值所组成的向量。数学上，线性变换的特征向量是一个非简并的向量，其方向在该变换下不变。该向量在此变换下缩放的比例称为特征值。一个线性变换通常可以由其
SVD实际上是数学专业内容，但它现在已经渗入到不同的领域中。SVD的过程不是很好理解，因为它不够直观，但它对矩阵分解的效果却非常好。比如，Netflix（一个提供在线电影租赁的公司）曾经就悬赏100万美金，如果谁能提高它的电影推荐系统评分预测准确率提高10%的话。令人惊讶的是，这个目标充满了挑战，来自世界各地的团队运用了各种不同的技术。最终的获胜队伍"BellKor's Pragmatic Chaos"采用的核心算法就是基于SVD。
Jacobi方法用于求实对称阵的全部特征值、特征向量。对于实对称阵 A，必有正交阵 Q ，使 QT A Q = Λ 其中Λ是对角阵，其主对角线元素λii是A的特征值，正交阵Q的第i列是A的第i个特征值
本文所述为量子化学电子结构理论中的基础知识，为本公众号同期另一文《从密度矩阵产生自然轨道_理论篇》一文的补充，对此基础内容熟悉的读者可以直接略过。
如果你使用 Python 语言进行科学计算，那么一定会接触到 Numpy。Numpy 是支持 Python 语言的数值计算扩充库，其拥有强大的高维度数组处理与矩阵运算能力。除此之外，Numpy 还内建了大量的函数，方便你快速构建数学模型。
PHP数据结构（五）——数组的压缩与转置 （原创内容，转载请注明来源，谢谢） 1、数组可以看作是多个线性表组成的数据结构，二维数组可以有两种存储方式：一种是以行为主序，另一种是以列为主序。 2、当数组存在特殊情况时，为了节省存储空间，可以进行压缩存储，把相同值并有规律分布的元素只分配一个存储空间，对于零元素不进行存储。 有两种情况可以进行压缩存储——特殊矩阵与稀疏矩阵。 3、当数组为特殊的矩阵，例如数组为n阶对称矩阵（满足aij=aji）。对于该类型矩阵，可以只存储一半的数值加上对角线的内容，一共需要分配
本文介绍正定矩阵和半正定矩阵。 定义 正定和半正定这两个词的英文分别是positive definite和positive semi-definite，其中，definite是一个形容词，表示“明确的、确定的”等意思。 正定 给定一个大小为n \times n 的实方阵A ，若对于任意长度为n的非零向量x ，有x^TAx>0A是一个正定矩阵。 此时，若A为对称方阵，则称A为对称正定矩阵。 半正定 给定一个大小为n \times n 的实方阵A ，若对于任意长度为n的非零向量x ，有x^TAx
PS：一直以来对SVD分解似懂非懂，此文为译文，原文以细致的分析+大量的可视化图形演示了SVD的几何意义。能在有限的篇幅把这个问题讲解的如此清晰，实属不易。原文举了一个简单的图像处理问题，简单形象，真心希望路过的各路朋友能从不同的角度阐述下自己对SVD实际意义的理解，比如 个性化推荐中应用了SVD，文本以及Web挖掘的时候也经常会用到SVD。
Singular Value Decomposition (SVD)是线性代数中十分重要的矩阵分解方法，被称为“线性代数的基本理论”，因为它不仅可以运用于所有矩阵(不像特征值分解只能用于方阵)，而且奇异值总是存在的。
1.假设矩阵A是一个 m ∗ n m*n m∗n 矩阵，那么 A ∗ A T A*A^T A∗AT 得到一个 m ∗ m m*m m∗m 矩阵， A T ∗ A A^T*A AT∗A 得到一个 n ∗ n n*n n∗n 的矩阵，这样我们就能得到一个方矩阵。 看一个例子:
这篇笔记，主要记录花书第二章关于线性代数知识的回顾。希望把常用的概念和公式都记录下来，同时标记编号（为了方便，标记序号与书中一致），在后续公式推导过程中可以直接关联使用。 梳理成文章，主要
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
