机器学习中的数学,这是一份新鲜出炉的热门草稿

选自 mmlbook

作者:Marc Peter Deisenroth、A Aldo Faisal、Cheng Soon Ong

机器之心编译

参与:路雪、王淑婷

近日,Marc Peter Deisenroth、A Aldo Faisal 和 Cheng Soon Ong 所著书籍《Mathematics for Machine Learning》的全部草稿已放出,机器之心整理了这本书的简要概述。感兴趣的读者可从以下链接获取全文(英文版)。

书籍地址:https://mml-book.github.io/

以下是这本书的部分序言。

机器学习是捕捉人类知识、对适合构建机器和工程化自动系统的格式进行推理的最新尝试。随着机器学习越来越普遍,软件包越来越易用,自然而然地,从业者不会注意低级技术细节。但是,这带来了一些风险,即从业者不了解设计决策,更容易忽略机器学习算法的局限性。对成功的机器学习算法的背后机制感兴趣的从业者需要学习如下必备知识:

  • 编程知识和数据分析工具;
  • 大规模计算和相关框架;
  • 数学和统计学知识,以及机器学习如何在其上构建。

在大学里,机器学习的基础课程会先花时间介绍部分必备知识。由于历史原因,机器学习课程通常属于计算机科学系,学生通常接受过前两项必备知识领域的训练,但对数学和统计学知识可能涉猎不多。目前的机器学习教科书尝试用一两章的篇幅覆盖背景数学知识,可能在书的开头或者是附录。而本书将介绍基础机器学习概念的数学基础,并收集相关信息。

为什么要再写一本关于机器学习的书?

机器学习构建于数学语言之上,以表达看似直观实则难以形式化的概念。一旦得到恰当的形式化,我们就可以使用数学工具推导出机器学习算法设计的选择结果。这帮助我们理解正在解决的任务,同时了解智能的本质。全球数学专业的学生常见的一种抱怨是数学话题似乎与实际问题没有什么相关。我们认为机器学习是促使人们学习数学的直接动力。

本书旨在作为构建现代机器学习基础的大量数学文献的指南。我们通过直接指出数学概念在基础机器学习问题中的有用性来促进对数学概念学习的需求。为使书籍尽量简短,我们省略了很多细节和高级概念。本书主要介绍基础数学概念及其在机器学习语境中的意义,读者可在章节最后找到进一步学习的大量资源。对于具备数学背景的读者,本书提供简洁但表述准确的机器学习概览。与主要介绍机器学习方法和模型或编程知识的书籍不同,本书仅提供四个代表性机器学习算法。我们主要关注模型背后的数学概念,并描述其抽象之美。我们希望所有读者能够通过数学模型中的基础选择更加深入地了解机器学习应用中出现的机器学习基础问题和相关的实际问题。

目标读者

随着机器学习应用在社会中的广泛应用,我们认为每个人都应该了解其背后的原则。本书以学术数学风格写成,可以帮助读者准确理解机器学习背后的概念。我们鼓励不熟悉这一风格的读者坚持阅读本书,并牢记每个话题的目标。我们将在文本中插入大量评论,希望可以帮助读者获取对全局的理解。本书假设读者具备中学数学和物理知识。例如,读者应该了解过导数和积分,以及二维三维几何向量。因此,本书的目标读者包括本科大学生、夜校学生和参与机器学习在线课程的人们。

本书结构如下所示:

第一部分:数学基础

1. 引言和动机

2. 线性代数

3. 解析几何

4. 矩阵分解

5. 向量微积分

6. 概率和分布

7. 连续优化

第二部分:机器学习核心问题

1. 当模型遇到数据

2. 线性回归

3. 利用主成分分析进行降维

4. 利用高斯混合模型进行密度估计

5. 利用支持向量机进行分类

我们可以用以下两种策略来理解机器学习中的数学:

按从基础到高级的顺序构建概念。这通常是偏技术性领域(如数学)的首选方法。该策略的优点是,读者可以随时依赖自己以前学过的定义,不会遇到那些晦涩难懂、难以接受的观点。但对于从业者来说,许多基础概念本身并不怎么有趣,因此大多数基础定义会被他们很快遗忘。

从实际需求向下挖掘出更基础的要求。这种目标驱动方法的优点是,读者随时都知道为什么他们需要研究特定的概念,并且清晰地知道自己需要哪些知识。这种策略的缺点是知识的基础并不稳固,读者必须记住一组自己并不理解的单词。

本书分为两部分,第一部分讲数学基础,第二部分将第一部分的概念应用于基本的机器学习问题中,继而形成了图 1.1 中阐述的「机器学习四大支柱」。

图 1.1:机器学习的基础和四大支柱。

第一部分关于数学

我们将数值数据表示为向量,并将这些数据的表格表示为矩阵。向量和矩阵的研究被称为线性代数,见本书第 2 章。

我们经常认为数据是一些真实潜在信号的噪声观测结果,并希望通过机器学习从噪声中识别出信号。为此我们需要一种语言来量化噪声的含义。我们也经常希望能有预测因子来表达某种不确定性,例如,量化我们对特定测试数据概率预测值的置信度。对不确定性的量化属于概率论的领域,在本书第 6 章有所涉及。

为了把爬山法(hill-climbing)应用于训练机器学习模型,我们需要形式化梯度的概念,它会告诉我们寻找解的方向。搜索方向这个想法是通过微积分来形式化的,我们在第 5 章介绍了这一点。如何使用这些搜索方向序列来找到山顶被称为优化,见本书第 7 章。

第二部分关于机器学习

本书第二部分介绍了机器学习的四大支柱,如下表所示。表中的每一行区分了问题的相关变量是连续还是类别。我们解释了如何将本书第一部分介绍的数学概念应用于机器学习算法的设计中。

表 1.1:机器学习的四大支柱。

图 2.2:该思维导图展示了本章介绍的概念及其与其他章节的关联。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-10-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏李智的专栏

【SPA大赛】分享推荐类大数据的相关经验

本人很幸运在刚刚结束的京东算法大赛中取得第四的成绩,腾讯广告点击大赛目前排名前五十,在比赛过程中学到了许多知识,同时也有一些经验分享给大家。后面也有队友李强在腾...

32500
来自专栏机器之心

从背景介绍到未来挑战,一文综述移动和无线网络深度学习研究

选自arXiv 作者:Chaoyun Zhang等 机器之心编译 近来移动通信和 5G 网络等快速发展,它们的调控与配置因为充满了多样性和动态变化而面临非常多的...

35750
来自专栏人工智能快报

Hinton取得新进展,以更少数据识别图像

谷歌人工智能先驱Geoffrey Hinton公布了AI技术进展,可提高电脑正确识别图像的速度和较少的数据依赖。 Google公司公布了关于其人工智能先驱Geo...

32360
来自专栏AI科技评论

Yann LeCun演讲图文:如何让AI学习常识,AI未来趋势又在何方 | GMIC 2018

人工智能作为一个发展中的技术,其实还在演进的过程当中,有所能为,有所不能为,因此还有很多亟待解决的问题

11330
来自专栏IT派

爆料 | 解析阿里妈妈如何将深度学习应用在广告、推荐及搜索业务

非常高兴与大家进行“深度学习演进之路”的交流,阿里妈妈是阿里巴巴集团下的大数据营销平台,是负责阿里巴巴变现的一个事业部。我研究的方向是机器学习、计算机视觉、推荐...

14620
来自专栏华章科技

人工智能大拿解答机器学习30个问答

这次参加的是 Yoshua Bengio,计算机科学家,毕业于麦吉尔大学,在MIT和AT&T贝尔实验室做过博士后研究员,自1993年之后就是蒙特利尔大学任教,与...

7910
来自专栏机器之心

业界 | 自动捕捉高光时刻:谷歌展示Google Clips全新智能摄影技术

19730
来自专栏奇点大数据

2018年度人工智能技术趋势

“人工智能”一词最初是在1956 年Dartmouth学会上提出的。人工智能(Artificial Intelligence),英文缩写为AI,是研究、开发用于...

12620
来自专栏CSDN技术头条

避免关注底层硬件,Nvidia将机器学习与GPU绑定

【编者按】Nvidia通过发布cuDNN库,将GPU和机器学习更加紧密的联系起来,同时实现了cuDNN与深度学习框架的直接整合,使得研究员能够在这些框架上无缝利...

22770
来自专栏应兆康的专栏

7. 开发集和测试集应该多大?

开发集应该足够大,大到可以检测出不同算法之间的差异。比如:如果分类器A的精度为90.0%,分类器B精度为90.1%。如果你的开发集只有100条,那么你可能检测不...

35870

扫码关注云+社区

领取腾讯云代金券