#判别分析 用以判别个体所属群体的一种统计方法 判别分析重点是两类群体的判别方法 #主要判别分析方法 有距离判别 贝叶斯判别 费歇判别法 1、关键点： #贝叶斯判别 贝叶斯判别式假定对研究对象已有一定的认识 这种认识常用先验概率来描述 #当取得样本后 就可以用样本来修正已经有的先验概率分布 得出后验概率分布 #然后通过后验概率分布 进行各种统计推断 #实际上就是使平均误判损失（误判概率与误判损失的结合）ECM 达到极小的过程 2、案例分析 （一）两个总体的贝叶斯判别分析 #1.载入数据 TrnX1<-matrix( c(24.8, 24.1, 26.6, 23.5, 25.5, 27.4,-2.0, -2.4 注 把贝叶斯判别函数存在了计算机的E盘R文件夹中 source("E:/R/discriminiant.bayes.R") #3、协方差相同时的判别 discriminiant.bayes(TrnX1 distinguish.bayes.R==================== #多个总体判别的贝叶斯判别程序 #输入 TrnX 表示训练样本 样本输入格式为数据框 #TrnG是因子变量 表示训练样本的分类情况
一键领取预热专享618元代金券，2核2G云服务器爆品秒杀低至18元！云产品首单低0.8折起，企业用户购买域名1元起…
p=5689 判别分析包括可用于分类和降维的方法。线性判别分析（LDA）特别受欢迎，因为它既是分类器又是降维技术。二次判别分析（QDA）是LDA的变体，允许数据的非线性分离。 最后，正则化判别分析（RDA）是LDA和QDA之间的折衷。 本文主要关注LDA，并探讨其在理论和实践中作为分类和可视化技术的用途。 由于QDA和RDA是相关技术，我不久将描述它们的主要属性以及如何在R中使用它们。 线性判别分析 LDA是一种分类和降维技术，可以从两个角度进行解释。 该数据集对于展示判别分析很有用，因为它涉及五种不同的结果。 RDA是一种正则化判别分析技术，对大量特征特别有用。
R语言的“MASS“包是一个十分强大的统计包，可以进行各种统计分析，我也将围绕它来介绍判别分析。”MASS“包既可以进行线性判别，也可以进行二次判别。 线性判别函数 # 使用Jacknifed预测进行线性判别分析 library(MASS) # 加载R包 mydata <- iris # 将iris命名成mydata以便后续操作 mydata$type 二次判别分析的前提条件比较宽松，不像线性判别那样要求同方差。同样地，我们仍然使用之间建立好的mydata数据框来进行二次判别分析。 # 三组类别的二次判别分析 # 假定各组的先验概率相等，均为1/3 library(MASS) # 加载R包 fit2 <- qda(type ~ Sepal.Length+Sepal.Width+Petal.Length 结果可视化 你可以使用简单的plot()函数来可视化判别分析的结果（R语言入门之基本绘图），这里的横纵坐标分别代表前两个线性判别函数，每个观察点可以通过组别来区分。
判别分析 判别分析是多元统计分析中较为成熟的一种分类方法，根据已知类别的若干样木数据，总结出客观事物分类的规律性，建立由数值指标构成的判别公式和判别准则。 12.1判别分析及R实现 在日常生活和工作实践中，我们常常会遇到判别分析问题，即根据已知归类的资料确定一种判别方法，建立由数值指标构成的分类规则即判别函数，然后把这样的规则应用到未知分类的样本中，判定一个新的样品应归属于哪一类 12.1.2距离判别法的R实现 总体来讲，进行距离判别分析时只需要知道总体的数字特征(均值和协方差矩阵)，而不涉及总体的分布函数。 判别法 R程序包MASS提供了做Fisher判别分析的函数lda(),lda(formula, data, ..., subset, na.action) 如果不使用formula作为主要参数，则lda 首先将lda()的分析结果应用于原来的训练样本进行类别的判断，通过R内置函数predict()完成，并构建一个列联表，与真实类别进行对比。
在上一篇文章中（R语言数据分析与挖掘(第八章):判别分析(1)——距离判别法），我们介绍了判别分析中，因为判别准则的不同，可分为多种判别分析法。 常用的有费歇尔（Fisher）判别分析、贝叶斯（Bayes）判别分析和距离判别分析。 并介绍了距离判别分析，本文将介绍贝叶斯（Bayes）判别分析 贝叶斯（Bayes）判别分析 Bayes判别，它是基于Bayes准则的判别方法，判别指标为定量资料，它的判别规则和最大似然判别、Bayes 基于以上准则，假定已知个体分为g类，各类出现的先验概率为P（Yk），且各类均近似服从多元正态分布，当各类的协方差阵相等时，可获得由m个指标建立的g个线性判别函数Y1，Y2，…，Yg，分别表示属于各类的判别函数值 ，根据已知分类的训练样品建立的判别规则，出现了0个样本错判，回代的判别正确率为100%。
概述 我们之前介绍了判别分析中，因为判别准则的不同，可分为多种判别分析法。常用的有费歇尔（Fisher）判别分析、贝叶斯（Bayes）判别分析和距离判别分析。 在上2篇文章中（判别分析——距离判别法和贝叶斯（Bayes）判别分析）介绍了距离判别分析和贝叶斯判别，本文将介绍贝费歇尔（Fisher）判别分析。 函数介绍 在R语言中，用与进行Fisher判别的最常用函数为lda()，该函数在包MASS中，有2种调用方式。 案例：基于Fisher 判别的iris 数据集分类 下面以iris数据集进行操作演练，首先对数据集中的分类变量进行数据转换，将莺尾花的三个类别分别用1,2,3替代： > library(MASS) > 1,2,3的样本量分别为26,23和26，利用函数lda()进行Fisher()判别分析的代码如下： > z <- lda(species ~ ., diris, prior = c(1,1,1)/3,
判别分析概述 判别分析是判断个体所属类别的一种多元统计分析方法。它在医学领域有着广泛的应用，主要有疾病诊断、疾病预测和病因学分析。 判别分析也属于对事物现象进行分类的统计分析方法，它和聚类分析不同的地方在于：聚类分析(后面会讲)事先并不知道分型情况，而判别分析需要事先知道分型情况，已知的分型数据又叫训练数据。 判别分析需要事先得到一些已经明确知道诊断结果的训练数据，利用这些数据建立判别准则，然后依据准则对未知类别的预测值进行判别。 如果是对于分类不明的数据，可以先用聚类分析对这组数据进行分类，然后再用判别分析对新建立的类别进行判断。 在判别分析中，因为判别准则的不同，可分为多种判别分析法。 常用的有费歇尔（Fisher）判别分析、贝叶斯（Bayes）判别分析和距离判别分析。我们这里先介绍距离判别法。 距离判别的基本思想是样品X离哪个总体的距离最近，就判断X属于哪个总体。
R语言实例链接：http://tecdat.cn/?p=5689 ---- 一、线性分类判别 对于二分类问题，LDA针对的是：数据服从高斯分布，且均值不同，方差相同。 概率密度： p是数据的维度。 分类判别函数： 可以看出结果是关于x的一次函数：wx+w0，线性分类判别的说法由此得来。 参数计算： 二、二次分类判别 对于二分类问题，QDA针对的是：数据服从高斯分布，且均值不同，方差不同。 ---- 参考文献 1.用SPSS估计HLM层次线性模型模型 2.R语言线性判别分析（LDA），二次判别分析（QDA）和正则判别分析（RDA） 3.基于R语言的lmer混合线性回归模型 4.R语言Gibbs 抽样的贝叶斯简单线性回归仿真分析 5.在r语言中使用GAM（广义相加模型）进行电力负荷时间序列分析 6.使用SAS，Stata，HLM，R，SPSS和Mplus的分层线性模型HLM 7.R语言中的岭回归
R语言实例链接：http://tecdat.cn/?p=5689 一、线性分类判别 对于二分类问题，LDA针对的是：数据服从高斯分布，且均值不同，方差相同。 概率密度： ? p是数据的维度。 线性判别分析（LDA）特别受欢迎，因为它既是分类器又是降维技术。二次判别分析（QDA）是LDA的变体，允许数据的非线性分离。最后，正则化判别分析（RDA）是LDA和QDA之间的折衷。 数据集 为了举例说明线性判别分析，我们将使用音素语音识别数据集。该数据集对于展示判别分析很有用，因为它涉及五种不同的结果。 具有100％准确度的模型将为每种颜色分配单个符号。 二次判别分析 QDA是LDA的变体，其中针对每类观察估计单个协方差矩阵。如果事先知道个别类别表现出不同的协方差，则QDA特别有用。 RDA是一种正则化判别分析技术，对大量特征特别有用。
Fisher 判别（线性判别） fd4 <- lda(G~x1+x2+x3+x4, d4_uni);fd4 print('------------------------------------') predict 非线性判别 qd4 <- qda(G~x1+x2+x3+x4,d4_uni) # 注意: 非线性判别使用 qda()，线性判别使用 lda() qtab4 <- table(predict(qd4 在进行 Bayes判别时，假定各类协方差阵相同，此时判别函数为线性。 先验概率 相等的 Bayes判别模型 ，此时判别函数类似于 Fisher 线性判别函数 4. )$class predict(bd4, newdata=data.frame(x1=78.3563,x2=0.8895,x3=1.8001,x4=14.1022))$class 案例 企业财务状况的判别分析 posts/分类-数据分析/分类-杂记/discriminant-analysis/ 版权声明： 本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。
在之前的文章中我们对PCA降维进行总结 Betten：主成分分析PCA学习总结zhuanlan.zhihu.com ? 线性判别分析（二分类情况） LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。 PCA和LDA PCA（主成分分析）和LDA（线性判别分析）有很多的相似点，其本质是要将初始样本映射到维度更低的样本空间中，但是PCA和LDA的映射目标不一样：PCA是为了让映射后的样本具有最大的发散性 在我们进行图像识别图像识别相关的数据分析时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。 参考资料 Pattern Recognition and Machine Learning 《机器学习》 线性判别分析（Linear Discriminant Analysis）（一）
AI君分分钟带你读懂AI技术 线性判别分析 Linear Discriminant Analysis 概述 这篇文章里，AI君想要跟大家讲讲线性判别分析，英文全称Linear Discriminant 线性判别分析(LDA)属于机器学习中的监督式学习方法，广义的LDA是指所有的判别函数均为线性函数。其中最经典的则是“Fisher判别分析”。 线性判别分析的核心思想是寻找到最佳的投影方法，将高维的样本投影到特征空间(feature space)，使得不同类别间的数据“距离”最大，而同一类别内的数据“距离”最小。 线性判别分析算法综合了上述两种思想，使投影后的样本在新的子空间有最大的“类间距离”和最小的“类内距离”，从而能更好地完成分类问题。 通过线性判别分析，高维的原始样本数据可以被投影到最适合分类的特征空间。线性判别分析常被用来在数据挖掘过程中进行分类信息抽取和特征空间(feature space)维数压缩等。
线性判别分析（二分类情况） LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。 假设我们的投影直线是向量 ，则对任意一个样本 ,它在直线 的投影为 ,对于我们的两个类别的中心点 ， ,在直线 的投影为 和 ，分别用 和 而我们想要的投影后的样本点的样子是：不同类别的样本点越分开越好，同类的越聚集越好，也就是均值差越大越好，散列值越小越好。 PCA和LDA PCA（主成分分析）和LDA（线性判别分析）有很多的相似点，其本质是要将初始样本映射到维度更低的样本空间中，但是PCA和LDA的映射目标不一样：PCA是为了让映射后的样本具有最大的发散性 在我们进行图像识别图像识别相关的数据分析时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。
线性判别分析，全称是Linear Discriminant Analysis, 简称LDA, 是一种属于监督学习的降维算法。与PCA这种无监督的降维算法不同，LDA要求输入数据有对应的标签。 为了定量描述类间均值和类内方差的大小，引入了以下基本概念 1. within-class sctter matrix 称之为类内散度矩阵，用于衡量类内方差，以二分类数据为例，公式如下 ? 0和1分别表示两个类别数据的协方差，进一步展开，可得如下结果 ? 推广到K类数据，公式如下 ? 2. between-class scatter matrix 称之为类间散度矩阵，用于衡量类间距离，以二分类数据为例，公式如下 ? μ表示每类数据的均值向量，推广到K类数据，公式如下 ? 最多降低到K-1的维度，K为样本的类别数。
，观察它们在平面上的散布情况，并判断对该组数据做判别分析是否合适。 判别分析模型，计算各自的判别符合率，以此确定哪种判别方法最恰当。 <- unique(d6.4) # 去除相同的行 dim(d4_uni);head(d4_uni) 4.1 分别建立线性判别函数、非线性判别函数和Bayes判别分析模型，计算各自的判别符合率，确定哪种判别方法最恰当 则先验概率为频率的Bayes与线性判别的判别结果相同，下面建立先验概率相同的Bayes判别分析模型。 植物分类之判别分析：费歇（Fisher）于1936年发表的鸢尾花（Iris）数据被广泛的作为判别分析的经典例子。
机密计算平台是一款基于机密计算技术实现的高安全性、低接入门槛的安全计算平台。
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
云数据库 PostgreSQL
文件存储
SSL 证书