机器学习里,数学究竟多重要?

【新智元导读】本文的主要目的是提供资源,给出有关机器学习所需的数学上面的建议。数学初学者无需沮丧,因为初学机器学习,并不需要先学好大量的数学知识才能开始。正如这篇文章提到的,最基本的需要是数据分析,然后你可以在掌握更多技术和算法的过程中继续学习数学。

过去几个月里,有不少人联系我,向我表达他们对数据科学、对利用机器学习技术探索统计规律性,开发数据驱动的产品的热情。但是,我发现他们中有些人实际上缺少为了获取有用结果的必要的数学直觉和框架。这是我写这篇文章的主要原因。

最近,许多好用的机器和深度学习软件变得十分易得,例如 scikit-learn,Weka,Tensorflow,等等。机器学习理论是与统计学、概率论、计算机科学、算法等方面交叉的领域,它产生于从数据出发的学习迭代,试图找出用于开发智能应用的隐藏的洞见。尽管机器学习和深度学习有无限的可能性,对这些技术有一个全面的数学理解对理解算法的内部工作机制、获取好的结果是有必要的。

为什么要关心数学?

为什么机器学习中的数学很重要?这个问题的理由我想强调以下几点:

  1. 选择合适的算法,要考虑的包括算法准确性、训练时间、模型复杂度、参数的数量和特征数量。
  2. 选择参数设置和验证策略。
  3. 理解偏差与方差的权衡以确定欠拟合和过拟合。
  4. 预估正确的置信区间和不确定性。

你需要多高的数学水平?

试图了解一个例如机器学习这样的跨学科领域,主要的问题是必要的数学知识的量,以及理解这些技术需要的数学水平。这个问题的答案是多方面的,取决于个人水平和兴趣。对数学公式和机器学习的理论发展的研究一直在进行着,一些研究人员研究的是更先进的技术。以下我将说明我认为成为一名机器学习科学家/工程师需要的最低程度的数学,以及每个数学概念的重要性。

1. 线性代数

Skyler Speakman曾说:“线性代数式21世纪的数学”,我完全赞同该论述。在ML领域,线性代数无处不在。主成分分析(PCA)、奇异值分解(SVD)、特征分解、LU分解、QR分解、对称矩阵、正交化&标准正交化、矩阵运算、投射、特征值&特征向量、向量空间和规范等这些概念对理解机器学习的优化方法都是必须的。我认为线性代数很棒的一点是,互联网上的资源非常多。我总是说传统课堂要消亡,因为互联网上有如此大量的资源。我最喜欢的线性代数课程是MIT的Gilbert Strang教授的。

2. 概率论与数理统计

机器学习和数理统计并不是完全不同的领域。事实上,最近有人把机器学习定义为“在Mac上做数理统计”。ML需要的数理统计基础和概率论知识包括组合数学、概率规则&公理、贝叶斯定理、随机变量、方差和均值、条件和联合分别、标准分布(伯努利、二项、多项、统一和高斯)、矩母函数、最大似然估计(MLE)、先验和后验、最大后验估计(MAP)和采样方法。

3. 多元微积分

必要的概念包括微积分、偏导数、向量函数、方向梯度、Hessian、Jacobian、Laplacian和Lagragian分布。

4. 算法和复杂性优化

这对理解机器学习算法的计算效率和可扩展性以及数据集的开发稀疏性很重要。需要数据结构(二叉树、Hashing、Heap、Stack等等)的知识,以及动态编程、随机&次线性算法、图形、梯度/随机趋势、以及原对偶方法的知识。

5. 其他

这包括上述4个主要领域没有涉及的其他数学概念。包括实分析与复分析(集合和序列、拓扑结构、度量空间、单值和连续函数、极限)、信息理论(熵、信息增益)、函数空间和流形。

下面是部分机器学习所需数学概念的一些MOOC和学习资料:

  • Khan Academy’s Linear Algebra, Probability & Statistics, Multivariable CalculusandOptimization.
  • Coding the Matrix: Linear Algebra through Computer Science Applications by Philip Klein, Brown University.
  • Linear Algebra – Foundations to Frontiers by Robert van de Geijn, University of Texas.
  • Applications of Linear Algebra, Part 1 and Part 2. A newer course by Tim Chartier, Davidson College.
  • Joseph Blitzstein – Harvard Stat 110 lectures
  • Larry Wasserman’s book – All of statistics: A Concise Course in Statistical Inference .
  • Boyd and Vandenberghe’s course on Convex optimisation from Stanford.
  • Linear Algebra – Foundations to Frontiers on edX.
  • Udacity’s Introduction to Statistics.

最后,本文的主要目的是提供有关机器学习所需的重要数学概念的建议和有用的资源。但是,有些机器学习爱好者可能是数学初学者,会觉得这篇文章令人沮丧(这并不是我的目的)。对初学者来说,你并不需要先学好大量数学知识再开始做机器学习。正如这篇文章提到的,最基本的需要是数据分析,然后你可以在掌握更多技术和算法的过程中继续学习数学。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-10-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

从Pix2Code到CycleGAN:2017年深度学习重大研究进展全解读

438120
来自专栏PPV课数据科学社区

数据科学的基本内容

什么是数据科学?它和已有的信息科学、统计学、机器学习等学科有什么不同?作为一门新兴的学科,数据科学依赖两个因素: 一是数据的广泛性和多样性; 二是数据研究的共性...

27950
来自专栏CSDN技术头条

大数据架构详解:从数据获取到深度学习(内含福利)

机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。其专门研究计算机是怎样模拟...

38280
来自专栏深度学习自然语言处理

详解机器学习之the Learning Problem

阅读大概需要10分钟 Why do we learn Machines Learning 之前虽然学过逻辑回归LR,支持向量机SVM等机器学习的零星小片段,还有...

319100
来自专栏SIGAI学习与实践平台

怎样成为一名优秀的算法工程师

同时在本微信公众号中,回复“SIGAI”+日期,如“SIGAI0515”,即可获取本期文章的全文下载地址(仅供个人学习使用,未经允许,不得用于商业目的)。

14120
来自专栏AI科技评论

学界 | DeepMind解密黑箱的第一步:原来神经网络的认知原理和人类是一样的!

AI 科技评论按:因为AlphaGo而名声大噪的人工智能公司DeepMind近期发表了一篇论文介绍自己在神经网络的解释性问题上最新探索。论文被ICML接受后,D...

33970
来自专栏机器之心

SIGIR 2018 | 通过深度模型加深和拓宽聊天话题,让你与机器多聊两句

选自sigirdawnet 作者:Wenjie Wang等 机器之心编译 参与:Panda 目前大多数基于生成的对话系统都会有很多回答让人觉得呆板无趣,无法进行...

36750
来自专栏华章科技

CVPR 2017 李飞飞总结 8 年 ImageNet 历史,宣布挑战赛最终归于 Kaggle

在 CVPR 2017 的 ImageNet Workshop 中,演讲者介绍了挑战赛的结果,回顾了物体识别领域的顶尖成果。同时,也有挑战赛获胜者介绍研究成果在...

9520
来自专栏人工智能头条

AlphaGo背后的秘密——深度增强学习(DRL)前沿算法解析

83040
来自专栏人工智能头条

《最强大脑》第三场《核桃计划》比赛难点及技术解析

19320

扫码关注云+社区

领取腾讯云代金券