特征学习

Contents

1 关键词

2 为什么需要进行特征学习

3 无监督学习解决的问题

4 功能强大的特征学习

1. 关键词

自我学习/自学习 self-taught learning

无监督特征学习 unsupervised feature learning

自编码器 autoencoder

白化 whitening

激活量 activation

稀疏自编码器 sparse autoencoder

半监督学习 semi-supervised learning

2. 为什么需要进行特征学习

如果已经有一个足够强大的机器学习算法,为了获得更好的性能,最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法:“有时候胜出者并非有最好的算法,而是有更多的数据”。

人们总是可以尝试获取更多的已标注数据,但是这样做成本往往很高。例如研究人员已经花了相当的精力在使用类似 AMT(Amazon Mechanical Turk) 这样的工具上,以期获取更大的训练数据集。相比大量研究人员通过手工方式构建特征,用众包的方式让多人手工标数据是一个进步,但是我们可以做得更好。具体的说,如果算法能够从未标注数据中学习,那么我们就可以轻易地获取大量无标注数据,并从中学习。自学习和无监督特征学习就是这种的算法。尽管一个单一的未标注样本蕴含的信息比一个已标注的样本要少,但是如果能获取大量无标注数据(比如从互联网上下载随机的、无标注的图像、音频剪辑或者是文本),并且算法能够有效的利用它们,那么相比大规模的手工构建特征和标数据,算法将会取得更好的性能。

在自学习和无监督特征学习问题上,可以给算法以大量的未标注数据,学习出较好的特征描述。在尝试解决一个具体的分类问题时,可以基于这些学习出的特征描述和任意的(可能比较少的)已标注数据,使用有监督学习方法完成分类。

在一些拥有大量未标注数据和少量的已标注数据的场景中,上述思想可能是最有效的。即使在只有已标注数据的情况下(这时我们通常忽略训练数据的类标号进行特征学习),以上想法也能得到很好的结果。

3. 无监督学习解决的问题

有两种常见的无监督特征学习方式,区别在于你有什么样的未标注数据。自学习(self -taught learning) 是其中更为一般的、更强大的学习方式,它不要求未标注数据 x[u] 和已标注数据 x[l]来自同样的分布。另外一种带限制性的方式也被称为半监督学习,它要求 x[u] 和 x[l] 服从同样的分布。下面通过例子解释二者的区别。

假定有一个计算机视觉方面的任务,目标是区分汽车和摩托车图像;也即训练样本里面要么是汽车的图像,要么是摩托车的图像。哪里可以获取大量的未标注数据呢?最简单的方式可能是从互联网上下载一些随机的图像数据集,在这些数据上训练出一个稀疏自编码器,从中得到有用的特征。这个例子里,未标注数据完全来自于一个和已标注数据不同的分布(未标注数据集中,或许其中一些图像包含汽车或者摩托车,但是不是所有的图像都如此)。这种情形被称为自学习。

相反,如果有大量的未标注图像数据,要么是汽车图像,要么是摩托车图像,仅仅是缺失了类标号(没有标注每张图片到底是汽车还是摩托车)。也可以用这些未标注数据来学习特征。这种方式,即要求未标注样本和带标注样本服从相同的分布,有时候被称为半监督学习。在实践中,常常无法找到满足这种要求的未标注数据(到哪里找到一个每张图像不是汽车就是摩托车,只是丢失了类标号的图像数据库?)因此,自学习在无标注数据集的特征学习中应用更广。

4. 功能强大的特征学习

在()中我们已经了解到如何使用一个自编码器(autoencoder)从无标注数据中学习特征。具体来说,假定有一个无标注的训练数据集,现在用它们训练一个稀疏自编码器(可能需要首先对这些数据做白化或其它适当的预处理)。

利用训练得到的模型参数 W, b ,给定任意的输入数据 x ,可以计算隐藏单元的激活量(activations) 。如前所述,相比原始输入 x 来说,a 可能是一个更好的特征描述。下图的神经网络描述了特征(激活量 )的计算。

这实际上就是之前得到的稀疏自编码器,在这里去掉了最后一层。

假定有大小为 m[l] 的已标注训练集 {(x[^1][l],y[^1]),(x[^2][l],y[^2]),...,(x[^m][l],y[^m])} (下标 表 l 示“带类标”),我们可以为输入数据找到更好的特征描述。例如,可以将 x[^1][l] 输入到稀疏自编码器,得到隐藏单元激活量 a[^1][l]。接下来,可以直接使用 a[^1][l] 来代替原始数据 x[^1][l](“替代表示”,Replacement Representation)。

经过变换后,训练集就变成 {(a[^1][l],y[^1]),(a[^2][l],y[^2]),...,(a[^m][l],y[^m])} 或者是{((x[^1][l],a[^1][l]),y[^1]),((x[^2][l],a[^2][l]),y[^2]),...,((x[^m][l],a[^m][l]),y[^m])} 。在实践中,将 a[^1][l] 和 x[^1][l] 合并通常表现的更好。但是考虑到内存和计算的成本,也可以使用替换操作。

最终,可以训练出一个有监督学习算法(例如 svm, logistic regression 等),得到一个判别函数对 y 值进行预测。预测过程如下:给定一个测试样本 x[test],重复之前的过程,将其送入稀疏自编码器,得到 a[test] 。然后将 a[test](或者 (x[test],a[test]))送入分类器中,得到预测值。

参考文献:http://cs229.stanford.edu

原文发布于微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文发表时间:2017-02-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

每个机器学习工程师都应该知道的基本算法

机器学习作为一门多领域交叉学科,已经存在很长时间了,但近些年才开始火热起来。本文中列出了你需要知道的机器学习领域的算法,了解这些你就可以解决在机器学习中所遇到的...

3668
来自专栏自学笔记

Softmax ClassifierSoftmax Classifier

softmax分类器和logistics regression有点像,softmax其实就是从logistics发张过来的。由于是多分类了,需要走更多的概率来表...

1302
来自专栏SIGAI学习与实践平台

深入浅出聚类算法

聚类问题是机器学习中无监督学习的典型代表,在数据分析、模式识别的很多实际问题 中得到了应用。在本文中,SIGAI 将为大家深入浅出的介绍聚类问题的定义以及各种典...

1531
来自专栏深度学习自然语言处理

【深度学习】你该会的精选面试题(二)

Tensorflow是一个通过计算图的形式来表述计算的编程系统,计算图也叫数据流图,可以把计算图看做是一种有向图,Tensorflow中的每一个节点都是计算图上...

9652
来自专栏ATYUN订阅号

从自编码器到变分自编码器(其一)

AiTechYun 编辑:yuxiangyu 自编码器是一种无监督学习技术,利用神经网络进行表征学习。也就是说,我们设计一个在网络中施加“瓶颈”,迫使原始输入压...

4485
来自专栏企鹅号快讯

DL笔记:Neural Networks 神经网络

回顾 -DL笔记:机器学习和深度学习的区别 :听说深度学习的思想受到神经网络的启发,那是什么玩意儿? :神经网络包括生物神经网络和人工神经网络。在生物神经网络中...

1936
来自专栏大数据挖掘DT机器学习

判别模型 和 生成模型

【摘要】 - 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型:有限样本==》判别函数 = 预测模型==》预测 【...

2846
来自专栏智能算法

GBDT(梯度提升决策树)算法(详细版)

一、前言 通过之前的文章GBDT算法(简明版)对GBDT的过程做了大概的讲解,我们可以了解到GBDT是一种迭代的决策树算法,由多棵决策树组成,所有树的结论累加起...

81911
来自专栏机器之心

学界 | 将未来信息作为正则项,Twin Networks加强RNN对长期依赖的建模能力

3028
来自专栏AI科技大本营的专栏

笔记 |《深度学习原理与TensorFlow实践》学习笔记(三)

作者 | 王清 目录 图像识别的经典课题 计算机视觉 图像识别课题 卷积神经网络原理 前深度学习时代 卷积操作Convolution 池化Pooling ReL...

3585

扫码关注云+社区