二、马氏距离（Mahalanobis Distance） 1.定义 马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C....是n×m矩阵，所以DM(x)是m×m矩阵，衡量的是向量x不同分量两两之间的马氏距离。...2.马哈拉诺比斯距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ 的样本点x与y的差异程度： 假设x,y都是3维向量，那么由于(x-y)T是1×3矩阵，Σ的逆是3×3矩阵（因为这里我们的数据点有...3个维度的属性），(x-y)是3×1矩阵，所以d(x,y)是一个1×1的数值，衡量的是x与y之间的马氏距离。...3.两个样本点的马氏距离计算示例： Matlab计算协方差矩阵验算（矩阵a的列代表属性，行代表样本点）： 得到协方差矩阵后，我们就可以计算出v和x之间的马氏距离了： Matlab验算:
代价函数 我们建立后端需要优化的代价函数： 代价函数中的3个残差项分别对应边缘化先验信息，IMU残差，视觉重投影残差，需要注意的是，三种残差都是使用马氏距离进行表示的(相比欧式距离，多了协方差矩阵...我们将IMU残差使用最小二乘法进行求解，当优化变量产生增量后，则有以下公式： 其中 为相应Jacobian表达式，我们使用马氏距离公式对上式进行展开，并且求导，令导数为0，则可以得到增量的表达式为...： 由此递推，我们可以得到代价函数的展开式： 其中 为IMU预积分的协方差矩阵， 为视觉观测的协方差矩阵。...我们对下面的优化变量开始求导： Jacobian具体推导过程比较简单，全部都是导数的基本性质，只有在对旋转求导时较为麻烦，需要通过导数的定义，四元数的定义，左右乘的性质进行推导： 2.2 视觉残差...，减少计算量，但我们不能直接删除，否则会破坏约束关系，导致求解崩溃，因此我们通过舒尔补公式，保留需要marg那一帧的约束关系。
马氏距离(Mahalanobis Distance) （1）马氏距离定义 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为： ?...而其中向量Xi与Xj之间的马氏距离定义为： ? 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了： ? 也就是欧氏距离了。...S = np.cov(X) # 两个维度之间协方差矩阵 SI = np.linalg.inv(S) # 协方差矩阵的逆矩阵 # 马氏距离计算两个样本之间的距离，此处共有10个样本，两两组合，共有45...： 1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同...； 2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。
马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的，表示点与一个分布之间的距离。...它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是，它考虑到各种特性之间的联系，本文介绍马氏距离相关内容。...马氏距离 度量样本距离某个分布的距离，先将样本与分布标准化到多维标准正态分布后度量欧式距离 思想 将变量按照主成分进行旋转，消除维度间的相关性 对向量和分布进行标准化，让各个维度同为标准正态分布...我们将去相关化、0均值化、标准化过后的数据记为Z： image.png 而马氏距离就是度量纠正过后的向量Z到分布中心（原点）的欧式距离： image.png 参考资料 https...://baike.baidu.com/item/马氏距离/8927833?
基于距离的相似度计算方法 计算相似度时，一类常用的方法是计算两个向量之间的距离，两个向量间距离越近，则两个向量越相似。...from Wikipedia 1.4 闵可夫斯基距离 (Minkowski Distance) 闵氏距离不是一种距离，而是一组距离的定义。其计算公式为： ? 其中p为变参数。...1.6 马氏距离 (Mahalanobis Distance) 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到μ的马氏距离表示为： ?...而其中向量Xi与Xj之间的马氏距离定义为： ? 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布），则马氏距离就是欧式距离；若协方差矩阵是对角矩阵，则马氏距离就是标准化欧式距离。...1.7 兰氏距离 (Lance Williams Distance) 兰氏距离的计算方法如下： ? 2.
切比雪夫距离就是当p趋向于无穷大时的闵氏距离： 闵氏距离的相关知识 距离度量的定义 距离函数并不一定是距离度量，当距离函数要作为距离度量，需要满足： 由此可见，闵氏距离可以作为距离度量，而大部分的相似度并不能作为距离度量...另外可以使用马氏距离（协方差距离），与欧式距离不同其考虑到各种特性之间的联系是（量纲）尺度无关 (Scale Invariant) 的，可以排除变量之间的相关性的干扰，缺点是夸大了变化微小的变量的作用。...马氏距离定义为： 马氏距离原理是使用矩阵对两两向量进行投影后，再通过常规的欧几里得距离度量两对象间的距离。...当协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离；如果协方差矩阵为对角阵，其也可称为正规化的欧氏距离。...基于信息论推导的一些距离度量学习算法，比如ITML和MCML等通常是使用距离度量矩阵定义一个分布，然后推导出最小化两个分布的KL距离或者Jeffery距离等等。
写在前面 涵盖了常用到的距离与相似度计算方式，其中包括欧几里得距离、标准化欧几里得距离、曼哈顿距离、汉明距离、切比雪夫距离、马氏距离、兰氏距离、闵科夫斯基距离、编辑距离、余弦相似度、杰卡德相似度、Dice...Mahalanobis）提出的，表示数据的协方差距离。有时也被称为马哈拉诺比斯距离。它是一种有效的计算两个未知样本集的相似度的方法。...对于一个均值为μ=(μ1,μ2,μ3,…,μp)**T，协方差矩阵为Σ的多变量向量x=(x1,x2,x3,…,xp)**T，其马氏距离为： ?...马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ的随机变量x与y的差异程度： ? 如果协方差矩阵为单位矩阵，马氏距离就简化为欧氏距离；如果协方差矩阵为对角阵，其也可称为正规化的欧氏距离。 ?...，可以得到它的几个特点如下： 两点之间的马氏距离与原始数据的测量单位无关（不受量纲的影响） 标准化数据和中心化数据（即原始数据与均值之差）计算出的二点之间的马氏距离相同 可以排除变量之间的相关性的干扰
若学过线性代数的读者便可以知道,向量加减就是向量元素对应加减,(即括号中元素)上面的式子可以化成向量之间的计算: ? 2.曼哈顿距离: 我们又称为城市街区距离,至于为什么,你看完下面的就知道了....闵可夫斯基距离 (1)闵氏距离的定义:两个n维变量A(x11,x12,…,x1n)与B(x21,x22,…,x2n)间的闵可夫斯基距离定义为： ? 其中p是一个变参数。...5.马氏距离 （1）马氏距离定义 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为： ? 而其中向量Xi与Xj之间的马氏距离定义为： ?...若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了如下,也就是欧氏距离了。 ? 若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。...(2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰 6.汉明距离 (1)汉明距离的定义 两个等长字符串之间的汉明距离定义为将其中一个变为另外一个所需要作的最小替换次数。
(4)Matlab计算欧氏距离 Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。...马氏距离(Mahalanobis Distance) （1）马氏距离定义 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为： ?...而其中向量Xi与Xj之间的马氏距离定义为： ? 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了： ? 也就是欧氏距离了。 ...若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。 (2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。...(3) Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离 X = [1 2; 1 3; 2 2; 3 1] Y = pdist(X,'mahalanobis') 结果
在实际应用中，需要建立数据的协方差矩阵，并计算矩阵的特征向量。对应最大特征值（即主要成分）的特征向量可用作重新构建原数据集。...从数学角度看，我们可以通过计算样本的协方差矩阵，来估计出最能代表集合分布的椭圆。马氏分布是指从测试点到质心的距离除以椭圆在测试点方向上的宽度。...为了使用马氏距离来判别一个测试点属于 N 个分类中的哪一个，首先应该基于已知样本与各个分类的对应情况，来估计每个类的协方差矩阵。...方法一：PCA + 马氏距离 正如本文“技术部分”中所介绍的，第一种方法先进行主成分分析，然后计算其马氏距离，来辨别一个数据点是正常的还是异常的（即设备退化的信号）。...从上面的分布图来看，我们可以定义马氏距离大于 3 的部分为异常。这种检测设备老化的估计方法，需要计算测试集中全部数据点的马氏距离，并将其与所设置的阈值进行比较，来标记其是否异常。
若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。...马氏距离(Mahalanobis Distance) （1）马氏距离定义 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为：...而其中向量Xi与Xj之间的马氏距离定义为： 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了： 也就是欧氏距离了。 ...若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。 (2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。...(3) Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离 X = [1 2; 1 3; 2 2; 3 1] Y = pdist(X,'mahalanobis') 结果
(4)Matlab计算欧氏距离 Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。...马氏距离(MahalanobisDistance) （1）马氏距离定义 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为： ?...而其中向量Xi与Xj之间的马氏距离定义为： ? 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了： ? 也就是欧氏距离了。 ...若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。 (2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。...(3)Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离 X = [1 2; 1 3; 2 2; 3 1] Y = pdist(X,'mahalanobis') 结果
(4)Matlab计算欧氏距离 Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。...马氏距离(MahalanobisDistance) （1）马氏距离定义 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为： ?...而其中向量Xi与Xj之间的马氏距离定义为： ? 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了： ? 也就是欧氏距离了。 ...若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。 (2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。...(3)Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离 X = [1 2; 1 3; 2 2; 3 1] Y = pdist(X,'mahalanobis')
马氏距离(Mahalanobis Distance) 有M个样本向量，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为 而其中向量与之间的马氏距离定义为：...若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了： 也就是欧氏距离了。...若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。 马氏距离的优缺点：量纲(scale)无关，排除变量之间的相关性的干扰。...(b) #马氏距离要求样本数要大于维数，否则无法求协方差矩阵 #此处进行转置，表示10个样本，每个样本2维 X = np.vstack([A,B]) XT...#马氏距离计算两个样本之间的距离，此处共有10个样本，两两组合，共有45个距离。
2 mahalanobis()函数 不难发现，函数dist()不能用于计算马氏距离，下面介绍一个专门用于计算马氏距离的函数: mahalanobis()， 其基本书写格式为: mahalanobis(x...参数介绍： x：指定用于计算距离的数据对象，p维的数据向量或矩阵； Center：指定分布的均值，即总体均值； Cov：指定分布的协力差，即总体协方差，一般用样本的协方差进行评估； inverted...，默认值为NUll,表示不进行加权，采用传统的马氏距离判别法; TstX: 指定测试集的数据对象，可以为向量、矩阵或数据框，若为向量，则将被识别为单个案例的行向量，默认值为NULL，表示直接对训练集进行判别...，其中函数colMeans()表示按列计算均值;训练集中每一个观测样本分别对应三个马氏距离，然后利用函数cbind()将三个马氏距离值与原始数据集中测试样本对应的分类合并在一起，输出结果如上所示。...对于测试集中的每一个观测样本而言，三个马氏距离中最小的那一个所对应的类别即为测试样本属于的类别，如第一条记录中，第一个马氏距离的值明显小于另外两个，故第一条记录应归为第一类，即该鸢尾花属于setosa类
(4)Matlab计算欧氏距离 Matlab计算距离主要使用pdist函数。若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。...马氏距离(Mahalanobis Distance) ---- （1）马氏距离定义 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为： ?...而其中向量Xi与Xj之间的马氏距离定义为： ? 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了： ? 也就是欧氏距离了。...若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。 (2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。...(3) Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离 X = [1 2; 1 3; 2 2; 3 1] Y = pdist(X,'mahalanobis') 结果
若X是一个M×N的矩阵，则pdist(X)将X矩阵M行的每一行作为一个N维向量，然后计算这M个向量两两间的距离。...马氏距离(Mahalanobis Distance) ---- （1）马氏距离定义 有M个样本向量X1~Xm，协方差矩阵记为S，均值记为向量μ，则其中样本向量X到u的马氏距离表示为： 而其中向量Xi与...Xj之间的马氏距离定义为： 若协方差矩阵是单位矩阵（各个样本向量之间独立同分布）,则公式就成了： 也就是欧氏距离了。...若协方差矩阵是对角矩阵，公式变成了标准化欧氏距离。 (2)马氏距离的优缺点：量纲无关，排除变量之间的相关性的干扰。...(3) Matlab计算(1 2)，( 1 3)，( 2 2)，( 3 1)两两之间的马氏距离 X = [1 2; 1 3; 2 2; 3 1] Y = pdist(X,'mahalanobis') 结果
5）马氏距离（Mahalanobis Distance）。 马氏距离是一种关于协方差矩阵的距离度量表示方法，其公式为： 马氏距离的优点是距离与属性的量纲无关，并排除了属性之间的相关性干扰。...若各个属性之间独立同分布，则协方差矩阵为单位矩阵。这样，平方马氏距离也就转化为了欧氏距离[18-19]。 6）对称点距离（Point Symmetry Distance）。...距离度量也可以源于相关系数[20]，如皮尔逊相关系数的定义为： 8）余弦相似度（Cosine Similarity）。 最后一种直接计算相似性的方法是余弦相似度。...在这8类聚类相似度测量方法中，需要注意的是最后三类相似性计算方法不再符合对称性、非负性与反身性的要求，即属于非可度量的范畴。连续性变量的相似性度量方法在不同聚类算法中的应用，如表1所示。...计算机科学(S1期):380-383. [1]伍育红. 聚类算法综述[J]. 计算机科学, 2015, 42(0z1):491-499,524.
（2）马哈拉诺比斯距离（马氏距离） （3）相关系数 （4）余弦相似度 2）类与类之间的距离 （1）最短距离或单连接 （2）最长距离或完全连接 （3）中心距离：两个类中心的距离。...m维特征样本和样本的闵可夫斯基距离： p=1时为曼哈顿距离： p=2时为欧氏距离： 时为切比雪夫距离： （3）马哈拉诺比斯距离（马氏距离） 另一种常用的相似度，考虑各个特征之间的相关性并与各个特征的尺度无关...马氏距离越大相似度越小。 样本集合X的协方差矩阵为S，m维特征样本和样本的马哈拉诺比斯距离： S为单位矩阵时，马氏距离就是欧氏距离，所以马氏距离是欧氏距离的推广。...（2）类的均值，又称为类的中心 表示G中样本的个数 （3）类的直径（diameter），是类中任意两个样本之间的最大距离 表示样本和之间的距离 （4）类的样本散布矩阵与协方差矩阵 类的样本散布矩阵（scatter...matrix） 类的样本协方差矩阵 3）类与类之间的距离 类与类之间的距离D(p,q)，也称为连接。
判别分析的方法有多种，常用的是距离判别法(马氏距离)、Fisher判别法和Bayes判别法。 12.1.1距离判别法 距离判别法的基本思想是根据样品x和总体G的距离来判断样品所属的总体。...12.1.2距离判别法的R实现 总体来讲，进行距离判别分析时只需要知道总体的数字特征(均值和协方差矩阵)，而不涉及总体的分布函数。...另一个函数是mahalanobis()，专门用来计算马氏距离，其调用格式为 mahalanobis(x, center，cov，inverted=FALSE，…) 其中x是样本数据的向量或矩阵;center...目前在程序包WMDB中，函数wmd( )可以实现加权马氏距离判别分析，它利用了上面的函数mahalanobis()进行计算，并返回一个结果表单和准确度的报告，在两个总体和多个总体的条件下均可直接计算。...，计算结果distance是每个训练样本距离总体的马氏距离，判别分析就是在这个结果的基础上进行的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
