Plos Comput Biol: 降维分析中的十个重要tips!

Journal: PLOS COMPUT BIOL

Published: June20,2019

Link:

https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1006907

前言：

本文是19年一篇老文章了，提出的这些建议非常重要且实用。

Tip 1:选择适当的方法

Tip 2: 对连续输入数据进行预处理和计数

Tip 3: 适当处理分类输入数据

Tip 4: 使用嵌入方法减少输入数据的相似度和不相似度

Tip 5: 有意识地决定要保留的维度数量

Tip 6: 为可视化应用正确的长宽比（这一条尤为实用）

Tip 7: 理解新维度的意义

Tip 8: 找到隐藏信号

Tip 9: 利用多域数据

Tip 10: 检查结果的稳健性并量化不确定性

注：在OTU/环境因子的语境下，变量Variables为样本；观察observations为OTU/环境因子指标。其他语境类似。

摘要：

在分析高维数据时，经常采用降维(dimension reduction, DR)方法。它是一种去噪和简化的方法，对于大多数现代生物数据集来说都是有益的。

由于“维数诅咒”，许多统计方法在应用于高维数据时缺乏力量。即使收集到的数据量很大，它们仍然稀疏地分布在一个巨大的高维空间中，几乎不可能完全探索。通过降低数据的维数，通常可以缓解这种现象。

去除噪声但保留感兴趣信号的低维数据有助于理解隐藏的结构和模式。原始高维数据通常包含对无意义信息或冗余变量的测量。

DR可以看作是一种潜在特征提取方法。它还经常用于数据压缩、探索和可视化。尽管许多DR方法已经在标准的数据分析管道中开发和实施，但它们很容易被误用，其结果在实践中经常被曲解。

本文为从业者提供了一组有用的指导方针，具体说明如何正确执行DR、解释其输出和交流其结果。

Tip 1:选择适当的方法

DR方法的选择取决于输入数据的性质。不同的方法分别适用于连续、分类、计数或距离数据。

通常情况下，观测只能充分捕获附近(或类似)数据点之间的小规模关系，而不能捕获远距离观测之间的长期相互作用。考虑数据的性质和解析是很重要的，因为DR方法可以专注于恢复数据中的全局或局部结构。

一般而言，线性方法如主成分分析(PCA)、对应分析(CA)、多重CA (MCA) 分析或经典的多维尺度分析cMDS或PCoA，更善于保持全局结构。

而非线性方法则相反，如kernel PCA，非度量多维尺度分析(NMDS)， Isomap，diffusion maps，以及各种临近嵌入(neighbor embedding，NE)方法，如t-Stochastic NE (t-SNE)，更善于表示局部交互作用。NE方法不能保持数据点之间的长期相互作用，也不能产生可视化，在这种可视化中，非相邻观测组的排列不能提供信息。因此，不应该根据NE图中观察到的大规模结构来进行推断。这两篇文章分别综述了线性和非线性DR方法：

Cunningham JP, Ghahramani Z. Linear Dimensionality Reduction:Survey, Insights, and Generalizations. Journal of Machine Learning Research.2015; 16:2859–2900.

Ting D, Jordan MI. On Nonlinear Dimensionality Reduction,Linear Smoothing and Autoencoding. arXiv:1803.02432 [Preprint]. 2018[cited 2019 May 30]. Available from: https://arxiv.org/abs/1803.02432.

如果数据中的观察结果分配了类（class）标签，并且目标是将它们分成已知类别，那么可能会考虑使用有监督的DR方法。有监督DR方法包括偏最小二乘(PLS)、线性判别分析(LDA)、邻域成分分析(neighborhood component analysis，NCA)和瓶颈神经网络分类器（bottleneck neural network classifier）。

与前面列出的无监督方法不同，这些有监督的DR方法不考虑观察对象的组成员关系，而是直接使用类信息，用相同的标签聚在一起。对于多域数据的情况，如基因表达与蛋白质组学和甲基化数据一起，可以分别对每个数据表应用DR，然后使用Procrustes转换对齐它们，或者考虑允许集成多个数据集的方法，如用于多个表的联合分析方法(STATIS)和用于多个距离矩阵的联合分析的等效方法(DiSTATIS)。表1对DR方法的基本特性进行了分类和总结,表2中包含了本文中讨论的方法的稳定实现列表。

分析方法汇总

分析对应R和Python的函数

Tip 2: 对连续输入数据进行预处理和计数

在应用DR前通常需要对数据进行适当的预处理。如数据中心化：从每个观察值中减去变量平均值是对连续变量进行PCA的必要步骤，并且在大多数标准实现中默认应用。另一种常用的数据转换是缩放：将变量的每个度量乘以一个标量因子，从而得到的特征的方差为1。缩放步骤确保每个变量的贡献相等，这对于包含具有高度可变范围或不同单元异构特征的数据集尤其重要，例如患者临床数据或环境因素数据。

当所有变量的单位都相同时，如在高通量分析，不建议对特征方差进行归一化，因为它会导致包含强信号的特征收缩，而没有信号的特征膨胀。

另外可能需要其他数据转换，这取决于应用程序、输入数据类型和所使用的DR方法。例如，如果数据中的变化是可乘的，如变量度量的是增加/减少百分比，那么在应用PCA之前应该考虑使用对数变换。

在处理基因组测序数据时，在应用DR之前需要解决两个问题。首先，每个测序样本有不同的文库大小(测序深度)，这是一个人为区分观察结果的麻烦的参数。为了使观察结果彼此具有可比较性，样本需要通过将每个测量值除以相应的样本量因子来归一化，这些样本量因子使用专门的方法进行估计(如DESeq2,edgeR)。

其次，数据呈现均值-方差变化趋势，均值越高，方差越大。需要一个方差稳定变换(variance stabilization transformation，VST)来调整这种影响，并避免对高度丰富特征的偏见。对于具有负二项分布的计数，例如测序序列计数，可使用一个反双曲正弦变换或类似的方法。对于高通量数据，样本归一化和方差稳定化是有效和充分的预处理步骤。

Tip 3: 适当处理分类输入数据

在许多情况下，可用的度量不是数值的，而是定性的或分类的。相应的数据变量代表类别，如表型，队列成员，测序样本。当对两个类别变量的层次(不同值)之间的关系感兴趣时，可将CA应用于联列表(由数据构造)，其内容是类别的共现频率。如果有两个以上的分类变量，MCA可以同时研究观察结果之间的关系和变量类别之间的关联。MCA是CA的一种推广，简单的将CA应用于类别变量。当输入数据同时包含数值变量和类别变量时，有两种策略可用。如果只有少数类别变量存在，则PCA用于数值变量，类别变量水平的组表示可以作为补充的(未加权的)点。另一方面，如果混合数据集包含大量的分类变量，则可以使用MFA (multiple factor analysis)。该方法对数值变量采用PCA，对分类变量采用MCA，并通过对变量组的加权来结合结果。

处理分类或混合数据的另一种方法是对使用“最优量化（optimal quantification）”转换的变量执行PCA。传统的PCA不能应用于分类变量，因为它的目标是最大限度地解释方差，这一概念只存在于数字变量。对于无序的或有序的类别变量，方差可以被类别频率上的卡方距离代替(如在CA中)，或者在做PCA之前可以应用一个适当的变量变换。

将类别变量转化为虚拟的双值特征（dummy binary features）是一种方法;另一种方法是使用最优缩放分类PCA (optimal scaling categorical PCA (CATPCA))。最优缩放用类别的量化来替换类别变量的原始水平，这样新变量中的方差就最大化了。然后将CATPCA表述为一个优化问题，其中量化数据与主成分之间的平方差迭代最小化，在成分得分、成分负荷和变量量化之间交替进行。最优缩放的一个优点是它不假设变量之间是线性关系。事实上，CATPCA处理变量之间非线性关系的能力是很重要的，即使输入数据都是数值的。因此，当非线性存在时，标准PCA只解释了方差的一个低比例，最佳缩放提供了一个可能的补救办法。

Tip 4:使用嵌入方法减少输入数据的相似度和不相似度

当定量和定性特征都不可用时，数据点之间的关系可以作为不同(或相似)的度量，可以作为低维嵌入到DR的基础。即使有可变的测量，计算不相似度和使用基于距离的方法可能是一种有效的方法。

确保选择一个不相似性度量来提供数据最好的总结，如原始数据是二进制的，欧几里德距离是不合适的，曼哈顿距离更好。然而如果特征是稀疏的，那么首选Jaccard距离。

cMDS/PCoA和NMDS利用数据点之间的两两差异来寻找欧几里德空间中距离的最佳近似的嵌入。cMDS是一种类似于PCA的矩阵分解方法，NMDS是一种优化技术，力求只保留不相似性的顺序。当输入距离的值有较低的置信度时，后一种方法更适用。

当不相似数据只能以非标准、定性的格式获得时，可以使用更专一的顺序嵌入方法。当使用基于优化的MDS时，可以选择仅保留局部交互，将最小化问题限制为仅从数据点到它们的邻居(例如，k-最近邻)的距离。这种方法可以称为“local”MDS。

不相似度也可以用作t-SNE的输入。与本地MDS类似，t-SNE只专注于表示短期的相互作用。然而，该方法以不同的方式实现局域性，通过使用small tail Gaussian kernel将提供的距离转换为临近度量。一组基于神经网络的方法(word2vec)已经被开发出来，这些方法也使用相似数据(共现数据)在连续的欧几里德空间中生成对象的向量嵌入。

Tip 5: 有意识地决定要保留的维度数量

在执行DR时，选择合适数量的新维度进行计算是至关重要的。这一步决定是否在缩减后的数据中捕捉到感兴趣的信号，尤其是当DR作为统计分析或机器学习任务(如聚类)之前的预处理步骤应用时，这一点尤为重要。

即使主要目标是数据可视化，即一次只能显示两个或三个轴，仍然需要选择足够数量的新特性来生成。例如,前两个或三个PCs可能解释的方差比例不足,在这种情况下,高阶成分应该保留,多个成分的组合应该用于可视化 (如PC1与PC2， PC2与PC4,PC3和PC5等等)。

在某些情况下,最强的信号是一个混杂因素，而感兴趣的变化被高阶PCs捕获。如果是这种情况，必须使用高阶PCs来解释。要保留维数的最佳选择主要取决于数据本身。在查询数据之前，不能确定输出的正确维度。请记住，维度的数量最多可以是数据中观察数(行)和变量数(列)的最小值。例如，数据集包含10,000个基因的表达，但只有10个样本，那么在精简数据表示中不能有超过10个(如果输入数据已中心化，则甚至不能有9个)轴。对于PCA或PCoA，可以使用特征值的分布来指导维数的选择。

在实践中，人们通常依靠“scree plots”(图1)和“the elbow rule”来做决定。scree plots显示了每个轴的特征值，或每个轴解释方差的比例。在图中寻找一个截断点，在这个截断点，特征值显著地低于它的前一个特征值，即"肘elbow”点。或者可以检查特征值的直方图，并搜索从大量中“突出”的极大值。

形式上，Marchenko-Pastur分布渐近地模拟了大型随机矩阵奇异值的分布。因此，对于观测数据和特征数据都很大的数据集，可以使用一个规则，即只保留拟合Marchenko-Pastur分布支持范围之外的特征值;但是这只适用于数据拥有至少数千个样本和数千个特性时。

对于非光谱的、基于优化的方法，成分的数量通常在DR计算之前预先指定。当使用这些方法时，成分的数量可以通过使用越来越多的维度重复DR过程来选择，并评估是否合并更多的成分实现了该方法损失函数的一个显著较低的值，例如:在t-SNE情况下，定义的输入和输出数据的跃迁概率之间的Kullback-Leibler (KL) divergence。理想情况下，您希望您的发现(如在可视化中看到的模式)能够与您选择的维数相匹配。

Tip 6: 为可视化应用正确的长宽比

可视化是数据探索过程的重要组成部分。因此，生成的DR图必须准确地反映所使用的DR方法的输出。可视化的一个重要但经常被忽视的属性是它的长宽比。2D(和3D)图的高度和宽度(以及深度)之间的比例关系会极大地影响你对数据的看法;因此，DR图应遵循与显示的输出轴所解释的相对信息量一致的长径比。

在PCA或PCoA中，每个输出维度都有一个与解释的方差成比例的相应特征值。如果一幅图的高度和宽度之间的关系是任意的，那么就无法获得数据的充分描述。高度和宽度相等的二维PCA图容易引起误解，但经常会遇到，因为用于分析生物数据的流行软件程序通常默认生成正方形(2D)或立方体(3D)图形。相反，PCA图的高宽比应该与相应特征值之间的比值一致。因为特征值反映了相关PC的坐标的方差，你只需要确保在图中，一个PC方向上的一个“单位”与另一个PC方向上的一个“单位”具有相同的长度 (如果使用ggplot2画图，添加+ coords_fixed(1)将确保正确的长宽比) 。

一个模拟的例子来说明，如图2所示。在矩形图(图2A)和正方形图(图2B)中，长径比与PC1和PC2坐标的方差不一致;结果是将数据点明显地分组为顶部和底部集群(不正确)。相比之下，图2C将两个轴的长度集合对应的特征值的比值，显示出正确的聚类，与真实的类分配相一致。关于长宽比如何影响情节解释的更多例子，请参见下篇文献的第7章和第9章。

Holmes S, Huber W. Modern Statistics for Modern Biology.Cambridge, UK: Cambridge University Press; 2019 [cited 2019 May 30]. Availablefrom: https://www.huber.embl.de/msmb/.

在许多基于优化的DR方法中，维度的排序没有意义。例如， t-SNE可以在计算新的表示之前选择输出维数(通常是两个或三个)。与PCs不同的是，t-SNE维度是无序且同等重要的，因为它们在通过优化算法最小化损失函数中具有相同的权重。因此，对于t-SNE，惯例是投影正方形或立方形图。

图2 在矩形(a)和正方形(b)图中长宽比不正确。(c, d)中正确的长宽比，其中plot的高度和宽度被调整为与PC1和PC2坐标中的方差相匹配。

Tip 7: 理解新维度的意义

许多线性DR方法，包括PCA和CA，都提供了观察值和变量的简化表示。Feature maps或correlation circles可用于确定哪些原始变量彼此关联或与新生成的输出维度的关联。

特征向量之间的夹角或与PC轴之间的夹角具有重要意义:向量之间的夹角大约为0度(180度)，表明相应的变量密切、正(负)相关，而向量之间的夹角为90度表示大致独立。图3A为变量投影的比例坐标的correlation circle。

原始变量对新维度的重要性可以使用条形图进行可视化。一个变量对一个给定的新轴的贡献计算为： (在这个轴上) 坐标的平方与所有变量的和之间的比率;比率通常转换成百分比。许多程序将变量的贡献作为标准输出提供;这些贡献不仅可以定义为单个，也可以定义为多个DR轴，方法是将所选成分件对应的值相加。图3B为各变量对PC1的贡献率;请注意，贡献率并不包含有关相关性方向的信息。当使用高维数据集(如高通量分析)时，为数千个或更多变量绘制贡献条形图是不实际的;相反，你可以进行限制，只显示前几个(例如，20个)贡献最大的特征。

变量和观察的结果可以包含在同一个图中，称为“biplot”。这个词是由Kuno Ruben Gabriel在1971年创造的，但类似的概念早在1960年就由Jolicoeur和Mosimann提出了。如图4所示的biplot允许同时探索数据样本和特征中的趋势;同时查看这两种变量，可能会发现相似(近距离)的观察组对某些测量变量具有高或低的值。

Tip 8: 找到隐藏信号

DR的主要目标是压缩数据，同时保留大部分有意义的信息。压缩有助于理解数据，因为减少的数据表示可望更有效地捕捉变异的主要来源。其目的是揭示数据底层结构的“隐藏变量”。最常遇到的潜在模式是离散的聚类或连续的梯度。

在前一种情况下，类似的观察结果聚集在一起，远离其他群体。图5A显示了一个模拟聚类数据集的示例。在进行聚类分析时，其目标是估计样本的组成员关系，通常的做法是首先应用PCA。PCA是一种降噪步骤，因为顶部特征向量期望包含所有感兴趣的信号。遗憾的是，这个特性并没有扩展到所有DR方法。邻域嵌入技术产生的输出，如t-SNE，不应该用于聚类，因为它们既不保持距离也不保持密度——这两个量在解释聚类输出中都非常重要。

与离散的聚类不同，数据中的连续变化较少被识别。知道如何识别和准确解释潜在梯度是很重要的，因为它们经常出现在与未知连续过程相关的生物数据中。当数据点没有分离成紧密排列的集群，而是从一个极端逐渐转移到另一个极端时，就会出现梯度;它们通常在DR可视化中以平滑曲线的形式出现。值得注意的是，当PCA和cMDS (PCoA)应用于涉及线性梯度的数据时，数据点通常排列成马蹄形或拱形。“马蹄效应（horseshoe effect）”可以出现在PCA和cMDS中。可在图5b中看到一个模拟数据的这种模式的示例。

可以有多个梯度影响数据，在不同方向带来一个稳定的变化。然而，观测到的连续梯度背后的变量可能是未知的。在这种情况下，如果收集到任何可用的外部协变量，应该通过检查它们的值之间的差异来关注在梯度的端点(极值)处的观察值之间的差异。否则可能需要收集关于数据集中的额外信息来研究这些差异的解释。额外的连续测量数据——那些不用于DR计算的数据——经常被收集到数据集中的观测数据中。额外的信息可以用来提高对数据的理解。使用外部协变量的最简单和最常见的方法是将它们包含在DR可视化中——将它们的值编码为图形上相应点的颜色、形状、大小甚至透明度。

如图6A所示:在葡萄酒属性上嵌入数据集的PCA，其中数据点被葡萄酒类着色，这是DR不知道的变量。观察到的葡萄酒分组表明，用于DR的13种葡萄酒特性可以很好地描述葡萄酒类别。

有时，根据新计算的特征直接绘制外部变量是暴露数据中出现的趋势的有效方法。例如，连续变量(如患者的年龄或体重)的散点图与所选输出维度的坐标相比较，显示了所选协变量与新特征之间的相关性。如果外部信息是分类的而不是连续的，那么可以为变量的每一层生成PC坐标(例如PC1、PC2或其他)的箱线图。

外部信息也可以包含在biplots中。图6 b显示了如何结合外部信息的观察与解释新轴的原来的变量。

此外，外部信息可用于发现批处理效果（Batch effects）。批次效应是技术上或系统上的变化来源，它掩盖了主要的兴趣信号。它们经常在测序数据中遇到，在这些数据中，来自相同测序lane的样本聚集在一起。因为批处理效应会混淆感兴趣的信号，所以最好检查它们的存在，如果发现了，在进行进一步的下游分析之前将它们消除。

可以通过生成DR嵌入图来检测技术上或系统上的变化，图中数据点以批次成员为颜色，例如测序、研究队列。如果发现了批处理效应，可通过移动所有的观察结果来消除它，这样每个批处理都有它的质心(组的质心)位于图的中心(通常是坐标系的原点)。

Tip 9:利用多域数据

有时同一组样本收集了不止一组测量值;如经常会遇到涉及多个领域数据的高通量基因组研究。对于相同的生物样本有基因达、miRNA、蛋白质组学和DNA甲基化数据可以收集。集成多个数据集既可以获得更高阶交互作用的更准确表示，又可以评估相关的可变性。样本往往表现出不同程度的不确定性，因为数据的不同区域可能受到不同的变动或波动率的影响。

处理“多域”数据的一种方法是分别对每个数据集执行DR，然后使用Procrustes转换将它们对齐在一起，Procrustes转换是通过转化、缩放、旋转使一个构型与另一个构型尽可能地对齐。一些更先进的方法也被开发出来，如STATIS和DiSTATIS分别是PCA和经典MDS的推广。这两种方法都用于分析从同一组观测中收集到的几组数据表。图7显示了对20个合成数据点的5个模拟距离表使用DiSTATIS。不同的颜色对应不同的数据点，不同的形状对应不同的距离。表之间的折中点用较大的菱形标记表示。

Tip 10:检查结果的稳健性并量化不确定性

对于一些数据集，PCA 的PCs是不明确的，即两个或多个连续PCs可能有非常相似的方差，对应的特征值几乎完全相同，如图8所示。虽然由这些组成部分组成的子空间是有意义的，但特征向量(PCs)不是单独提供信息的，它们不能单独解释，因为即使是一个观察中的一个非常微小的变化也会导致一个完全不同的特征向量集合。在这些情况下，我们说这些PCs是不稳定的。与相似特征值相对应的维数需要保持在一起，而不是单独解释。

当使用需要参数说明的方法时，还应该根据不同的参数设置检查结果的稳定性。不同的设置甚至可以从定性上改变获得的结果。

一个单独的问题是方法对异常值的稳定性。一般来说，我们知道远离原点的观测比靠近中心的观测对PCs有更大的影响;有时可能只有数据中的一小部分样本几乎完全决定了PCs。应该注意这些情况，并验证DR捕获的结构代表了大量数据，而不仅仅是几个异常值。在DR中，离群点是远离大多数观测结果的遥远点。在PCA和其他线性方法的情况下,如果所有的样本点的投影图是靠近原点,只有一个或几个点非常遥远, DR会极大的受离群值的影响。

如果样本被删除，DR需要重新计算，并且应该注意输出的变化。通过比较剔除异常值之前和之后的DR可视化，观察观察结果如何变化。不仅应该考虑删除技术上的异常值，还应该删除“"outgroups"，即已知与大多数数据有很大不同的异常组。消除outgroups并重新计算DR允许在大量数据中出现模式。另一方面，如果数据集包含很多异常观测，则应使用稳定的方法，如robust kernel PCA。

此外，可以通过构建一个“bootstrap”数据集的集合来估计与观测相关的不确定性，也就是通过重新采样观测数据并进行替换而产生数据的随机子集。bootstrap可以被视为多路数据，Tip 8中描述的STATIS或Procrustes对齐方法可以应用于将随机子集“匹配”在一起。当数据的真实噪声模型可用时，不要使用bootstrap子样本，可以通过扰动每个样本的测量值，然后应用上一技巧中描述的STATIS或DiSTATIS方法来生成“折衷”和数据的每个单独扰动副本的坐标，从而生成所有数据点的副本。通过获取每个数据点的多个坐标估计值，可以估算相应的不确定性。您可以使用密度等高线或将每个自助投影的所有数据点绘制到折中图上，在DR嵌入图上可视化每个样本的不确定性。图9显示了两个模拟数据集的PCA投影的Procrustes对齐。彩色线表示bootstrap子集的输出坐标的密度等高线，菱形标记对应于完整数据的投影坐标。可以观察到，在低秩数据点的不确定性要小得多，即前2个PCs代表第一个数据集比第二个数据集更好。

图9数据点的不确定性。每个数据点的DR输出坐标的稳定性。使用Procrustes变换将两个等级为2 (a)和等级为5 (b)的10D模拟数据集的bootstrap样本投影到PCs上。较小的圆形标记对应于每个bootstrap试验，较大的菱形标记是完整数据集的坐标。DR，降维;PC，主成分。

Conclusion

在分析高维数据时，DR非常有用，有时甚至是必不可少的。尽管DR方法被广泛采用，但它经常被误用或曲解。

执行DR的研究人员可能会发现，可用方法的绝对数量已经令人生畏，更不用说其中一些方法所需的各种不同的不同度量或参数设置。

这十项技巧可以作为一个检查表或非正式的指导方针。我们描述了执行有效DR的一般分步程序，并给出了正确解释和充分交流DR算法输出的指南。

这里讨论的大多数建议适用于任何DR方法，但有些是针对特定方法的指导。除了前面讨论的所有内容外，还想提供一个额外的建议:跟踪您所做的所有决定，包括您选择的方法、您选择的距离或内核，以及您使用的参数值。保存所有工作步骤和获得的结果的最方便的方法是使用R、IPython或jupiter;这些应用程序允许您生成包含叙述文本、代码及其输出的完整分析报告。

记录你的选择是可重复研究的关键部分;它允许其他人复制您获得的相同结果，并在下次处理类似数据时加快分析过程。

作者在S1 Code中提供了文中所有图片的代码~~~~

快去学习吧~~