【Python | TensorBoard】用 PCA 可视化 MNIST 手写数字识别数据集

Principal component analysis (PCA) is a statistical procedure that uses an orthogonal transformation to convert a set of observations of possibly correlated variables into a set of values of linearly uncorrelated variables called principal components.

主成分分析(PCA)是一种常用的数据降维方法,可以将高维数据在二维或者三维可视化呈现。具体原理我在这里就不再详述,网上有很多教程都不错,可以参考 这里 或者 PCA 的维基百科页面

原理

我在这里简单的叙述下。假设我们的数据集是 m×nm×n 的,即 mm 个样本,每个样本 nn 个属性(特征),那么我们想要将这些数据呈现在图上,以便让我们对数据有个直观的了解或者其他用途。换句话说,需要 n<=3n<=3 ,一般来说为 2(平面) 或者 3(立体),需要一种变换来让新产生的属性可以代替原来的属性,可以通过下式来变换,

Y=XW

Y=XW 其中 YY 是变换后的新属性,XX 是原始属性,WW 是变换矩阵,而这个变换矩阵的列是 XTXX^TX 的特征向量。YY 中的新变量依据该变量对原始变量的解释能力(解释的总方差)从高到低排序,那么第一个就称为第一主成分,第二个就称为第二主成分,以此类推。假如我们需要降到 3 维以便于我们可视化,那就取前三个主成分作为原始属性的代表。即假如原来每个样本有 64 个属性,那么现在每个样本就有 3 个属性,就可以绘图了。

数据集

本文使用的数据集不是完整的 MNIST 数据集,而是 scikit-learn 自带的手写数字识别数据集。

该数据集的信息如下:

  • 类别数:10
  • 每类样本数:约为180
  • 总样本数:1797
  • 特征维数:64(8*8)

代码

from sklearn import datasets
from sklearn import decomposition
import matplotlib.pyplot as plt
import numpy as np
import seaborn
from mpl_toolkits.mplot3d import Axes3D
%matplotlib notebook

mnist = datasets.load_digits()
X = mnist.data
y = mnist.target
pca = decomposition.PCA(n_components=3)
new_X = pca.fit_transform(X)

fig = plt.figure()
ax = fig.gca(projection='3d')
ax.scatter(new_X[:, 0], new_X[:, 1], new_X[:, 2], c=y, cmap=plt.cm.spectral)
plt.show()

结果

结果如上图,实际上这个图是可以来回拖动和缩放的,所以建议在本地实际运行程序。图中每个颜色代表一个数字(0-9),可以大致看出每类数字分布在相近的区域。

此外,可以使用 pca.explained_variance_ratio_ 查看各个主成分解释的总方差:[ 0.14890594, 0.13618771, 0.11794594] ,这三个主成分解释了大约 40% 的原始信息,这个比例还是很低的,不过我们这里的目的是可视化而不是抽取信息。使用 pca.get_covariance() 得到上文提到的变换矩阵。

TensorBoard

12月7号 Google 在其开发者博客中宣布了一个开源的高维数据可视化工具:Open sourcing the Embedding Projector: a tool for visualizing high dimensional data,其中一个是在和 TensorFlow 一起使用的 TensorBoard ,另一个是独立版本,用户可以直接在网页上访问,地址在 这里(可能需要梯子)。如下图:

目前有 4 个数据集可以选择:Word2Vec All(71291×200),MNIST(10000×784),Word2Vec 10K(10000×200),Iris(150×4),可以选择是否用颜色标注、降维方法(T-SNE,PCA,自定义)、夜间模式、3D标签模式等。以MNIST为例,可以看到这三个主成分对原始信息的解释比例只有 25.9%

END

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏听雨堂

用scikit-learn和pandas学习线性回归

      对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了。 1....

2165
来自专栏fangyangcoder

tensorflow笔记(五)之MNIST手写识别系列二

http://www.cnblogs.com/fydeblog/p/7455233.html

642
来自专栏PaddlePaddle

【RNN】使用RNN语言模型生成文本

导语 PaddlePaddle提供了丰富的运算单元,帮助大家以模块化的方式构建起千变万化的深度学习模型来解决不同的应用问题。这里,我们针对常见的机器学习任务,提...

4035
来自专栏何俊林

OpenGL ES总结(五)OpenGL 中pipeline机制

导读:OpenGL ES是在图形图像中,非常优秀的渲染库,其中pipeline可以说是非常重要一个环节。 前一篇介绍是渲染视频,今天主要介绍OpenGL中pip...

2238
来自专栏用户2442861的专栏

数字图像处理笔记二 - 图片缩放(最近邻插值(Nearest Neighbor interpolation))

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/d...

542
来自专栏数据科学学习手札

(数据科学学习手札14)Mean-Shift聚类法简单介绍及Python实现

不管之前介绍的K-means还是K-medoids聚类,都得事先确定聚类簇的个数,而且肘部法则也并不是万能的,总会遇到难以抉择的情况,而本篇将要介绍的Mean-...

3318
来自专栏ATYUN订阅号

Python机器学习的练习六:支持向量机

在这个练习中,我们将使用支持向量机(SVMs)创建一个垃圾邮件分类器。在一些简单的2D数据集上使用SVMs去观察他们如何工作,接下来我们查看一组邮件数据集,并且...

4266
来自专栏ascii0x03的安全笔记

利用Python sklearn的SVM对AT&T人脸数据进行人脸识别

要求:使用10-fold交叉验证方法实现SVM的对人脸库识别,列出不同核函数参数对识别结果的影响,要求画对比曲线。 使用Python完成,主要参考文献【4】...

4128
来自专栏专知

【干货】利用NLTK和Gensim进行主题建模(附完整代码)

1864
来自专栏WD学习记录

2016-7-3 webGL

ctx.fillRect(120,10,150,150);前两个为x、y坐标后边为长和宽

672

扫码关注云+社区