问降维

EN

你可能已经弄明白了这一点，但不管怎样，我还是会发布一个简短的描述。

首先，让我概括地描述一下这两种技术。

基本上获取一个数据集，并找出如何对其进行“转换”(即将其投影到一个新的空间中，通常是较低维度)。它本质上为您提供了相同数据的新表示。这种新的表示法具有一些有用的属性。例如，新空间的每个维度都与它所解释的方差的量相关联，即您基本上可以根据变量在原始表示中的重要性对PCA输出的变量进行排序。另一个属性是从PCA表示中去除线性相关性的事实。

是一种分解矩阵的方法。给定一个矩阵M (例如，对于数据，它可以是一个n by m矩阵，对于n数据点，每个维度为m)，您可以得到U,S,V = SVD(M)，其中：M=USV^T，S是一个对角矩阵，U和V都是正交矩阵(意味着列和行是正交的；或者等价的UU^T=I & VV^T=I)。S的条目称为M的奇异值。你可以把奇异值分解看作是矩阵的降维，因为你可以去掉较低的奇异值(即，将它们设置为零)，在乘以它们时销毁矩阵的“低部分”，并获得与M的近似值。换句话说，只需保留顶部的k奇异值(以及U和V中的顶部k向量)，您就拥有了矩阵的“降维”版本(表示)。从数学上讲，这为您提供了M的最佳秩k近似，本质上类似于k维数的缩减。(有关详细信息，请参阅this answer )。

所以问题1

我理解降维的一般前提是将数据降维到较低的维度-但是a)奇异值分解和主成分分析是如何做到这一点的，以及b)它们在方法上有何不同

答案是它们是一样的。

要了解这一点，我建议阅读简历和数学堆栈交换网站上的以下帖子：

• What is the intuitive relationship between SVD and PCA?
• Relationship between SVD and PCA. How to use SVD to perform PCA?
• How to use SVD for dimensionality reduction to reduce the number of columns (features) of the data matrix?
• How to use SVD for dimensionality reduction (in R)

让我总结一下答案:本质上，SVD可以用来计算PCA。主成分分析与数据协方差矩阵的特征向量和特征值密切相关。本质上，通过获取数据矩阵，计算其SVD，然后对奇异值进行平方(并进行一些缩放)，您最终得到数据协方差矩阵的特征分解。

问题2

也许你可以解释一下每种技术的结果告诉我什么，所以对于a)

-什么是奇异值b) PCA -“方差比例”

这些特征向量( SVD的奇异向量或PCA的主成分)形成了将数据转换到的新闻空间的轴。特征值(与数据矩阵SVD奇异值的平方密切相关)保存由每个分量解释的方差。通常，人们希望保留原始数据的95%的方差，因此，如果他们最初有n-dimensional数据，他们会通过选择最大的d-dimensional来减少到保留原始方差的d-eigenvalues数据，从而保留95%的方差。这保留了尽可能多的信息，同时保留了尽可能少的无用维度。

换句话说，这些值(解释了方差)本质上告诉我们每个主成分(PC)的重要性，就它们重构原始(高维)数据的有用性而言。由于每台PC在新空间中形成一个轴(由原始空间中旧轴的线性组合构成)，它告诉我们每个新维度的相对重要性。

对于奖金，请注意，SVD也可以用于计算特征分解，因此它也可以用于以不同的方式计算PCA，即通过直接分解协方差矩阵。详情请参见this post。

根据你的问题，我只理解了主成分analysis.so的主题，我分享了关于主成分分析的以下几点，希望你一定能理解。

PCA：

1.主成分分析是一种线性变换降维技术。

2.用于噪声过滤、特征提取和数据可视化等操作。

3.主成分分析的目标是识别模式并检测变量之间的相关性。

4.如果有很强的相关性，那么我们可以降低PCA的维数。

5.特征向量是在不改变方向的情况下进行线性变换。

这是用于理解PCA的示例url：https://www.solver.com/xlminer/help/principal-components-analysis-example