在判别分析中,两个或多个集合和簇等可作为先验类别,然后根据度量的特征把一个或多个新的观察结果分类成已知的类别。判别分析对每个对应类中的预测器分布 X 分别进行建模,然后使用贝叶斯定理将其转换成根据 X 的值评估对应类别的概率。此类模型可以是线性判别分析(Linear Discriminant Analysis),也可以是二次判别分析(Quadratic Discriminant Analysis)。
线性判别分析(LDA):为每个观察结果计算“判别值”来对它所处的响应变量类进行分类。这些分值可以通过找到自变量的线性连接来获得。它假设每个类别的观察结果都从多变量高斯分布中获取,预测器变量的协方差在响应变量 Y 的所有 k 级别中都很普遍。
二次判别分析(QDA):提供另外一种方法。和 LDA 类似,QDA 假设 Y 每个类别的观察结果都从高斯分布中获取。但是,与 LDA 不同的是,QDA 假设每个类别具备自己的协方差矩阵。也就是说,预测器变量在 Y 的所有 k 级别中不是普遍的。
3. 重采样方法
重采样方法(Resampling)包括从原始数据样本中提取重复样本。这是一种统计推断的非参数方法。即,重采样不使用通用分布来逼近地计算概率 p 的值。
Ridge 回归至少有一个缺点,它需要包含最终模型所有 p 个预测因子,这主要是因为罚项将会令很多预测因子的系数逼近零,但又一定不会等于零。这对于预测准确度来说通常并不是什么问题,但却令模型的结果更难以解释。Lasso 就克服了这一缺点,因为它在 s 足够小的时候能迫使一些预测因子的系数归零。因为 s = 1 将导致正规的 OLS 回归,而当 s 逼近 0 时,系数将收缩到零。因此 Lasso 回归同样是执行变量选择的一个好方法。
6. 降维
降维算法将 p+1 个系数的问题简化为 M+1 个系数的问题,其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射(projection)。然后这 M 个投射作为预测器通过最小二乘法拟合一个线性回归模型。两个主要的方法是主成分回归(principal component regression)和偏最小二乘法(partial least squares)。
主成分回归(PCR)可以看成一种从大型变量集合中导出低维特征集合的方法。数据中的第一主成分(first principal component)是指观察数据沿着这个变量方向的变化最大。换言之,第一主成分是最接近拟合数据的线,总共可以用 p 个不同的主成分拟合。第二主成分是和第一主成分不相关的变量的线性组合,且在该约束下有最大的方差。其主要思想是主成分能在各个互相垂直的方向使用数据的线性组合捕捉到最大的方差。使用这种方法,我们还能结合相关变量的效应从数据中获取更多的信息,毕竟在常规的最小二乘法中需要舍弃其中一个相关变量。
上面描述的 PCR 方法需要提取 X 的线性组合,以获得预测器的最优表征。由于 X 的输出 Y 不能用于帮助决定主成分方向,这些组合(方向)使用无监督方法提取。即,Y 不能监督主成分的提取,从而无法保证这些方向是预测器的最优表征,也无法保证能获得最优预测输出(虽然通常假定如此)。偏最小二乘法(PLS)是一种监督方法,作为 PCR 的代替方法。和 PCR 类似,PLS 也是一种降维方法,它首先提取一个新的较小的特征集合(原始特征的线性组合),然后通过最小二乘法将原来的模型拟合为一个新的具有 M 个特征的线性模型。
支持向量机(SVM)是一种常用的监督学习分类技术。通俗地说,它用于寻找对两类点集做出最佳分离的超平面(hyperplane,在 2D 空间中是线,在 3D 空间中是面,在高维空间中是超平面。更正式的说法是,一个超平面是一个 n 维空间的 n-1 维子空间)。而支持向量机是保留最大的间隔的分离超平面,因此本质上,它是一个约束最优化问题,其中支持向量机的间隔在约束下被最大化,从而完美地对数据进行分类(硬间隔分类器)。