无监督学习才不是“不要你管”

原作:Justin Gage 虚无之栗 编译自 Algorithmia 量子位 出品 | 公众号 QbitAI

如果你的一大坨数据,怎么办?

无监督学习是机器学习算法里非常扑朔迷离的一个类别,负责解决这些“没有真实值 (no-ground-truth) ”的数据。

本文会讲到,无监督学习到底是什么,和机器学习的其他算法有何本质区别,用的时候有哪些难点,以及推荐阅读的传送门。

无监督学习是什么?

最简单的理解方式,就是把算法想象成考试。卷子上的每道题对应一个答案,得分高低就要看你的答案和标准答案有多接近。不过,如果没有答案只有问题,你要怎么给自己打分?

把这一套东西挪到机器学习上来。传统的数据集都有标签 (相当于标答) ,逻辑是“X导致Y”。比如,我们想要知道,推特上粉丝更多的人,是不是收入也更高。那么,input是粉丝数,output是收入,要试着找出两组数据之间的关系。

每颗星是一个数据点,机器学习就是要画出差不多能连起那些点的一条线,以此解释input和output之间的关系。但在无监督学习里,并没有output这个东西

我们要做的是分析input,也就是粉丝数。但没有收入,或者Y。就像是考试只有题,没有标答一样。

其实,也不一定是没有Y,可能我们只是没有办法获得收入数据。不过这都不要紧,重要的是不需要画出X和Y之间的那条线了,不需要找它们之间的关系了。

那么,无监督学习的目标是什么?如果只有input没有output,我们到底该怎么办?

无监督学习分几种

聚类(Clustering)

任何行业都需要对用户的理解:他们是谁?是什么促使他们做出购买的决定?

通常,用户可以按照某些标准分为几组。这些标准可简单如年龄如性别,也可复杂如用户画像、如购买流程。无监督学习可以帮我们自动完成这个任务。

聚类算法会跑过我们的数据,然后找出几个自然聚类 (Natural Clusters) 。以用户为例,一组可能是30多岁的艺术家,另一组可能是家里养狗的千万富翁。我们可以自己选择聚类的数量,这样就能调整各个组别的粒度 (Granularity) 。

有以下几种聚类方法可以选用:

· K-Means聚类,把所有数据点划分到K个互斥组别里。复杂之处在于如何选取K的大小

· 层次聚类 (Hierarchical Clustering) ,把所有数据点划分到一些组别、和它们的子组别里,形成像族谱一样的树状图。比如,先把用户按年龄分组,然后把各个组别按照其他标准再细分。

· 概率聚类 (Probabilistic Clustering) ,把所有数据点按照概率来分组。K-Means其实就是它的一种特殊形式,即概率永远为0或1的情况。所以这种聚类方式,也被亲切地称为“模糊的K-Means”。

这几种并无本质区别的方法,写成代码可能就长这样——

任何聚类算法的output,都会是所有的数据点、以及它们所对应的组别。这就需要我们自己来判断,output代表怎样的含义,或是算法到底发现了什么。数据科学的魅力即在于,output加上人类的解读,便会产生价值。

数据压缩 (Data Compression)

在过去的十年间,设备的计算能力和存储能力都增强了许多。不过,即便在今天我们依然有理由,让数据集尽可能小、并尽可能高效。这意味着,只要让算法去跑一些必要的数据,而不要做过多的训练。

无监督学习可以用一种名为数据降维 (Dimentionality Reduction) 的方式做到这一点。

数据降维的“”,就是指数据集有多少列。这个方法背后的概念和信息论 (Information Theory) 一样:假设数据集中的许多数据都是冗余的,所以只要取出一部分,就可以表示整个数据集的情况了。

在实际应用中,我们需要用某种神秘的方式,把数据集里的某些部分结合到一起,来传达某些意义。这里有我们比较常用的两种降维方式——

· 主成分分析算法 (PCA) ,找出能够把数据集里的大多数变化联系起来的线性组合· 奇异值分解 (SVD) ,把数据的矩阵分解成三个小矩阵

这两种方法,以及另外一些更复杂的降维方式,都用了线性代数的概念,把矩阵分解成容易消化的样子,便于传递信息。

数据降维可以在机器学习算法里,起到非常重要的作用。以图像为例,在计算机视觉里,一幅图像就是一个巨大的数据集,训练起来也很费力。而如果可以缩小训练用的数据集,模型就可以跑得更快了。这也是为什么,PCA和SVD都图像预处理时常见的工具。

无监督深度学习

无监督学习,把领地扩张到了神经网络和深度学习里,这一点也不奇怪。这个领域还很年轻,不过已经有了自编码器 (Autoencoder) 这样的先行者。

自编码器和数据压缩算法背后的逻辑差不多,用一个子集来反映原始数据集的特征。像神经网络一样,自编码器利用权重把input转换成理想的output。不过在这里,output和input并不是两种不同的东西,output只是input的一种更轻便的表示方式。

在计算机视觉中,自编码器被用在图像识别算法里。现在,它也已经把触角伸向声音和语音识别等更多的领域。

实战难点有哪些

除了寻找合适的算法和硬件,这样常见的问题之外,无监督学习自带一种神秘的气质——不知道任务到底完成了没有

在监督学习里,我们会定下一套标准,以做出模型调试的决策。精确度 (Precision) 和查全率 (Recall) 这样的指标会告诉我们,现在的模型有多准确,然后我们可以调整参数来优化模型。分数低,就要继续调。

可是,无监督学习的数据没有标签,我们就很难有理有据地定下那套衡量标准。以聚类为例,怎么知道K-Means的分类好不好 (比如K值取的合不合适) ?没有标准了,我们可能就需要有点创造力。

“无监督学习在我这里管用么?”是人们经常提出的问题。这里,具体问题要具体分析。还以用户分组为例,只有当你的用户真的和自然聚类相匹配的时候,聚类的方法才有效。

虽然有些风险,但最好的测试方法,可能就是把无监督模型放到现实世界里,看看会发生什么——让有聚类的和没有聚类的算法做对比,看聚类能不能得出更有效的信息。

当然,研究人员也在尝试编写,自带 (相对) 客观评判标准的无监督学习算法。那么,栗子在哪里?

友好的传送门:

https://blog.algorithmia.com/introduction-to-unsupervised-learning/

下拉至Reading and Papers,栗子可能要从那里开始吃。

祝您消化顺畅

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-04-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 跟着大神回顾ACL 2018:大会亮点一览

很高兴看到很多论文都在从方法上研究现有模型以及它们捕获的内容,而不是一直在引入更新的模型。进行这样的研究最常用的办法是自动创建一个侧重于泛化行为的某个特定方面的...

13820
来自专栏新智元

狂破11项记录,谷歌年度最强NLP论文到底强在哪里?

一个完整的深度学习系统,通常包括以下四个部分,1. 应用场景、2. 模型、3. 训练数据、4. 算力。

10530
来自专栏数据结构与算法

正态分布与中心极限定理

也就是说,正态分布一种分布形式,它实际上有很多表示形式,最常见的有概率密度函数,累计分布函数等等来表示。

56610
来自专栏数据科学与人工智能

【机器学习】机器学习和计算机视觉相关的数学

MIT一牛人对数学在机器学习中的作用给的评述,写得很实际 机器学习和计算机视觉都是很多种数学的交汇场。看着不同的理论体系的交汇,对于一个researcher来说...

28080
来自专栏新智元

【一文读懂Bengio研究组最新论文】图谱注意力网络GAT,以图谱做输入做深度学习

作者:邓侃 编辑:闻菲 【新智元导读】Yoshua Bengio 团队日前提出了一种名叫图谱注意力网络(Graph Attention Network,GAT)...

61370
来自专栏小巫技术博客

深度学习,NLP和表征(译)

10730
来自专栏专知

基于信息理论的机器学习-中科院自动化所胡包钢研究员教程分享03(附pdf下载)

【导读】专知于11月24日推出胡老师的基于信息理论的机器学习报告系列教程,大家反响热烈,胡老师PPT内容非常翔实精彩,是学习机器学习信息理论不可多得的好教程,今...

36870
来自专栏大数据文摘

【重磅】Facebook AI 负责人:深度学习技术趋势报告(150 PPT下载)

32050
来自专栏机器学习算法与Python学习

干货 | 【深度学习】 在 【推荐算法】 上的应用研究进展

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 文章来源:知乎 作者:赵鑫 深度学...

90960
来自专栏机器之心

学界 | ReQuest: 使用问答数据产生实体关系抽取的间接监督

选自 arXiv 机器之心编译 参与:Nurhachu Null、李泽南 在这篇伊利诺伊大学、南加州大学与上海交大合作的 WSDM 2018 论文中,研究人员提...

367110

扫码关注云+社区

领取腾讯云代金券