为什么神经网络的隐藏状态不能提供比原始输入更好的降维结果？
为什么神经网络的隐藏状态不能提供比原始输入更好的降维结果？
提问于 2016-07-23 02:47:21
我刚刚读了一篇很棒的帖子here。我对那篇文章中“一个带有图片的例子”的内容很好奇。如果隐藏状态意味着原始图像的许多特征，并且更接近最终结果，我认为对隐藏状态进行降维应该比原始像素提供更好的结果。
因此，我尝试在mnist数字上使用256个单位NN的2个隐藏层，使用T-SNE进行降维；结果远非理想。从左到右，从上到机器人，它们是原始像素，第二个隐藏层和最终预测。有谁能解释一下吗？
顺便说一句，该模型的准确率约为94.x%。
回答 1
Stack Overflow用户
发布于 2016-07-24 22:41:27
你有十个类，正如你提到的，你的模型在这个数据集上表现良好-所以在这个256维的空间中-这些类使用线性子空间很好地分开。
那么为什么T-SNE投影没有这个属性呢？
我想到的一个微不足道的答案是，将一个高维集合投影到二维可能会失去线性分离属性。考虑下面的例子:一座小山，其中一个等级在它的山顶，第二个等级在较低的高度层周围。在三维空间中，这些类很容易被平面分开，但人们可以很容易地找到一个没有这种属性的二维投影(例如，在投影中，你失去了高度维度)。
当然，T-SNE不是这样的线性投影，但它的主要目的是保持数据的局部结构，以便在使用这种方法时可以很容易地失去像线性分离属性这样的一般属性。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/38533422
复制相关文章
相似问题
腾讯云开发者
