如何利用大规模无监督数据建立高水平特征？

独家｜如何利用大规模无监督数据建立高水平特征？

Paper来自此网站：

这篇文章的目的是只依靠未标记图像构建一个特定的分类特征识别器，同时这也是神经科学的构想：“人类大脑中存在高度特定类的神经元”，通常被非正式地称为“母神经元”。在传统的计算机视觉中，大多数研究人员使用标记数据来获得这些识别器，然而大量数据时就比较困难。这个实验的成功说明，可以从未标记数据中学习高级特征和母神经元。大多数这些方法（如自动稀疏编码器）仅仅可以用于低级特征，如边缘或斑点（edges or blobs）。

如上所述，来自1000万个Youtube视频随机选择的片段，他们通过使用OpenCV脸部识别得出结论，在1000万个采样片段中，面部出现的概率不到3％。

在学习期间第二子层会被固定为均匀的权重，所有编码器和解码器中的其他权重通过上面的成本函数来处理。优化问题也称为重建地形独立成分分析（Topographic ICA），基本上第一项确保编码中关于数据的重要信息，第二项鼓励将有相似特征的特性组合在一起以实现方差。

他们将激活值转化为直方图得到上面的图表，可以明显看出，即使没有标记数据，也是有可能训练人脸检测器的。

在经过训练后的权重上添加一对所有逻辑分类器后，他们在ImageNet数据集上重新训练网络（此方法也称为无监督预训练），能够比当时的基线（2012年）表现得更好。在具有22,000类别的ImageNet上，它超越了其他最高结果70％。同时所有的表现都可以在上面的表格看到。

总结来看，使用大量数据和计算机力量，有可能实现仅使用未标签数据识别脸部和身体高级性能。另外，这种方法会比2012年ImageNet数据集的基准线表现要优越。