《机器学习》笔记-绪论(1)

作者:刘才权

编辑:王抒伟

写在最前面

1

如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中的同学,一定也想参与其中。不管是出于好奇,还是自身充电,跟上潮流,我觉得都值得试一试。

对于自己,经历了一段时间的系统学习(参考《机器学习/深度学习入门资料汇总》),现在计划重新阅读《机器学习》[周志华]和《深度学习》[Goodfellow et al]这两本书,并在阅读的过程中进行记录和总结。

这两本是机器学习和深度学习的入门经典。笔记中除了对书中核心及重点内容进行记录,同时,也会增加自己的理解,包括过程中的疑问,并尽量的和实际的工程应用和现实场景进行结合,使得知识不只是停留在理论层面,而是能够更好的指导实践。记录笔记.

一方面,对于自己,是对先前学习过程的总结和补充。 另一方面,相信这个系列学习过程的记录,也能为像我一样入门机器学习和深度学习同学作为学习参考。

基本术语

2

在学习过程中,最让人觉得枯燥的内容之一便是[术语]了。[术语]对内容或原理做了抽象和概括,所以开始的时候不容易接受,并且容易混淆。

但术语又很神奇,掌握了术语后,发现对很多复杂的原理或流程进行表述变得容易。最重要的是,当自己能够自如的听懂术语并使用术语时,自己也不知不觉的从“外行”变成了“内行”(脑补《智取威虎山》的场景:“天王盖地虎”,“宝塔镇河妖”)。下面我们会实际的场景出发,这样术语的理解和消化也会变的容易。

《机器学习》这本书的封面是一堆西瓜,而书中的大多数方法和模型也是以西瓜的例子进行展开和分析的。这个西瓜的例子很简单,就是给你一堆西瓜的已知特征如(色泽、根蒂、敲声),来判断西瓜的未知特性,如是否成熟或成熟程度。

  • 数据集 西瓜的已知特性集合(如色泽、根蒂、敲声,以及是否成熟或成熟程度);
  • 特征向量 把数据集中的特征用向量表示;
  • 维数 特征的个数;
  • 分类 判断好瓜还是坏瓜(离散值);
  • 回归 判断成熟程度(连续值,如成熟度为0.98);
  • 聚类 将西瓜自动分为“本地瓜”,“外地瓜”(“本地瓜”和“外地瓜”这些概念我们事前是不知道的);
  • 监督学习 训练数据有标记信息(如分类、回归)
  • 无监督学习 训练数据没有标记信息(如聚类)
  • 独立同分布 假设样本空间中全部个体样本都服从一个未知的分布,同时,每个样本都是独立的从这个分布上采样获得的。

归纳偏好

3

任何一个有效的机器学习算法必有其归纳偏好,否则它将被假设空间中看似在训练集上的等效假设所迷惑,而无法产生确定的学习结果。

归纳偏好的一个一般性原则便是“奥卡姆剃刀”。它是一种常用的、自然科学中最基本的原则,即“若有多个假设与观察一直,则选最简单的那个”

“没有免费午餐”定理(No Free Lunch Theorem,简称NFL定理)说明所有的学习算法的期望性能是相同的。

我们只关注自己正在解决的问题,希望为它找到一个解决方案,至于这个解决方案在别的问题、甚至在相似的问题上是否为好方案,我们并不关心。脱离具体问题,空泛谈论“什么学习算法更好”毫无意义。

发展历程

4

主流技术演进:

  • 二十世纪八十年代-符号主义学习 代表包括决策树和基于逻辑的学习。但由于学习过程面临的假设空间太大、复杂度极高,因此,问题规模稍大就难以有效进行学习,九十年代中期后这方面的研究相对陷入低潮;
  • 二十世纪九十年代中期之前-基于神经网络的连接学习 连接主义在二十世纪五十年代取得了大发展,同时也遇到了很大的障碍,如图灵得主M.Minsky和S.Papert在1969年指出,(当时的)神经网络只能处理线性分类,甚至对“异或”这么简单的问题都处理不了。1983年,J.J Hopfield利用神经网络求解“流动推销员问题”这个著名的NP难题取得重大进展,使得连接注意重新受到人们关注。1986年,D.E. Rumelhart等人重新发明了著名的BP(反向传播)算法,产生了深远影响。神经网络学习过程涉及大量参数,而参数的设置缺乏理论指导,主要靠手工“调参”;夸张一点说,参数调节上失之毫厘,学习结果可能谬以千里。
  • 二十世纪九十年代中期-统计学习 代表性技术是支持向量机以及更一般的核方法。这方面的研究早在二十世纪六七十年代就已开始。统计学习与连接主义学习有密切的联系。支持向量机被普遍接受后,核技巧(kernel rick)被人们用到了机器学习的几乎每个角落,核方法也逐渐成为机器学习的基本内容之一。
  • 二十一世纪初-深度学习 深度学习,狭义的说就是“很多层”的神经网络。深度学习虽然缺乏严格的理论基础,但它显著的降低了机器学习应用者的门槛,为机器学习技术走向工程实践带来了便利。深度学习火热有两个基本原因:数据大了、计算能力强了。深度学习模型拥有大量数据,若数据样本少,则很容易“过拟合”;如此复杂的模型,如此大的数据样本,若缺乏强力计算设备,根本无法求解。

事实上,图灵在1950年关于图灵测试的文章中,就曾提到了机器学习的可能。二十世纪五十年代初已有机器学习的相关研究。

五十年代中后期基于神经网络的“连接主义”学习开始出现。在六七十年代,基于逻辑表示的“符号主义”学习技术蓬勃发展。以决策理论为基础的学习以及强化学习技术等也得到发展。二十多年后红极一时的统计学习理论的一些奠基性结果也是在这个时期获得的

应用现状

5

大数据时代三大关键技术:机器学习、云计算、众包(ImageNet的数据标记便采用了众包形式);

机器学习领域和数据库领域是数据挖掘的两大支撑;

2004年3月,在美国DARPA组织的自动驾驶车比赛中,斯坦福大学机器学习专家小组研制的参赛车获得冠军(无人驾驶很早就起步了)。

原文发布于微信公众号 - 机器学习算法全栈工程师(Jeemy110)

原文发表时间:2018-01-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

拍拍贷风控预测模型

拍拍贷“魔镜风控系统”从平均400个数据维度评估用户当前的信用状态,给每个借款人打出当前状态的信用分,在此基础上,再结合新发标的信息,打出对于每个标的6个...

4177
来自专栏数据科学与人工智能

【机器学习】一文读懂机器学习,大数据/自然语言处理/算法全有了……

作者:计算机的潜意识 在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是...

32910
来自专栏龙行天下CSIEM

科学瞎想系列之三 傅里叶变换的哲学意义

从纯数学角度讲,傅里叶变换是一种复杂的积分变换,大多不是数学专业的人恐怕早就忘了原函数、像函数、狄里赫莱条件、离散、连续等等那些天书。但大多搞理工专业的人...

2768
来自专栏人工智能头条

谷歌语音转录背后的神经网络

1254
来自专栏华章科技

一文读懂机器学习,大数据/自然语言处理/算法全有了……

机器学习是什么,为什么它能有这么大的魔力,这些问题正是本文要回答的。同时,本文叫做“从机器学习谈起”,因此会以漫谈的形式介绍跟机器学习相关的所有内容,包括学科(...

671
来自专栏数据科学与人工智能

余凯在清华的讲座笔记

2014.4.4,余凯在清华FIT楼做了“Deep Learning Unfolds the Big Data Era”的讲座。感觉这个讲座还是比较high-l...

22610
来自专栏新智元

存在比深度学习更好的技术吗?有人说脉冲神经网络和哥德尔机器

【新智元导读】 什么比深度学习更好?由此引出深度学习的三大局限性:缺乏解释性、缺乏迁移能力以及巨大的计算资源消耗。什么比深度学习更好?脉冲神经网络和哥德尔机器...

3416
来自专栏机器之心

重磅 | 自动驾驶计算机视觉研究综述:难题、数据集与前沿成果(附67页论文下载)

选自arXiv 机器之心编译 参与:李亚洲、微胖、黄小天、蒋思源 近日,德国马克斯普朗克智能系统研究所(Max Planck Institute for Int...

2837
来自专栏null的专栏

[置顶] 《Python机器学习算法》的写作历程

前言 首先,感谢各位支持我博客的同学,你们的支持是我一直努力的动力,正是因为你们的支持,才有了《Python机器学习算法》一书的面世: ? 目前,该书已经可以在...

3485
来自专栏新智元

大神Quoc Le:谷歌 AutoML幕后的传奇英雄

【新智元导读】提及谷歌大脑、seq2seq、AutoML,许多人已是耳熟能详。在成功的背后,定是有许多研究人员的默默付出。而Quoc Le就是其中一位,堪称谷歌...

474

扫描关注云+社区