人工智能-数学基础总结

九层之台,起于累土:线性代数


必备的数学知识是理解人工智能不可或缺的要素,今天的种种人工智能技术归根到底都建立在数学模型之上,而这些数学模型又都离不开线性代数(linear algebra)的理论框架。

在线性代数中,由单独的数 a 构成的元素被称为标量(scalar):一个标量 a 可以是整数、实数或复数。如果多个标量按一定顺序组成一个序列,这样的元素就被称为向量(vector)。显然,向量可以看作标量的扩展。原始的一个数被替代为一组数,从而带来了维度的增加,给定表示索引的下标才能唯一地确定向量中的元素。

相对于向量,矩阵同样代表了维度的增加,矩阵中的每个元素需要使用两个索引(而非一个)确定。同理,如果将矩阵中的每个标量元素再替换为向量的话,得到的就是张量(tensor)。直观地理解,张量就是高阶的矩阵。

在计算机存储中,标量占据的是零维数组;向量占据的是一维数组,例如语音信号;矩阵占据的是二维数组,例如灰度图像;张量占据的是三维乃至更高维度的数组,例如 RGB 图像和视频。

  • 线性代数的本质在于将具体事物抽象为数学对象,并描述其静态和动态的特性;
  • 向量的实质是 n 维线性空间中的静止点;
  • 线性变换描述了向量或者作为参考系的坐标系的变化,可以用矩阵表示;
  • 矩阵的特征值和特征向量描述了变化的速度与方向。

image

月有阴晴圆缺,此事古难全:概率论


概率论是线性代数之外,人工智能的另一个理论基础,多数机器学习模型采用的都是基于概率论的方法。但由于实际任务中可供使用的训练数据有限,因而需要对概率分布的参数进行估计,这也是机器学习的核心任务。

概率的估计有两种方法:最大似然估计法(maximum likelihood estimation)和最大后验概率法(maximum a posteriori estimation),两者分别体现出频率学派和贝叶斯学派对概率的理解方式。

概率论基础,着重于抽象概念的解释而非具体的数学公式,其要点如下:

  • 概率论关注的是生活中的不确定性或可能性;
  • 频率学派认为先验分布是固定的,模型参数要靠最大似然估计计算;
  • 贝叶斯学派认为先验分布是随机的,模型参数要靠后验概率最大化计算;
  • 正态分布是最重要的一种随机变量的分布。

image

窥一斑而知全豹:数理统计


人工智能必备的数理统计基础,着重于抽象概念的解释而非具体的数学公式,其要点如下:

  • 数理统计的任务是根据可观察的样本反过来推断总体的性质;
  • 推断的工具是统计量,统计量是样本的函数,是个随机变量;
  • 参数估计通过随机抽取的样本来估计总体分布的未知参数,包括点估计和区间估计;
  • 假设检验通过随机抽取的样本来接受或拒绝关于总体的某个判断,常用于估计机器学习模型的泛化错误率。

image

最优化方法


人工智能必备的最优化方法基础,着重于抽象概念的解释而非具体的数学公式,其要点如下:

  • 通常情况下,最优化问题是在无约束情况下求解给定目标函数的最小值;
  • 在线性搜索中,确定寻找最小值时的搜索方向需要使用目标函数的一阶导数和二阶导数;
  • 置信域算法的思想是先确定搜索步长,再确定搜索方向;
  • 以人工神经网络为代表的启发式算法是另外一类重要的优化方法。

image

万物皆数,信息亦然:信息论


近年来的科学研究不断证实,不确定性才是客观世界的本质属性。换句话说,上帝还真就掷骰子。不确定性的世界只能使用概率模型来描述,正是对概率的刻画促成了信息论的诞生。

信息论使用“信息熵”的概念,对单个信源的信息量和通信中传递信息的数量与效率等问题做出了解释,并在世界的不确定性和信息的可测量性之间搭建起一座桥梁

人工智能必备的数理统计基础,着重于抽象概念的解释而非具体的数学公式,其要点如下:

  • 数理统计的任务是根据可观察的样本反过来推断总体的性质;
  • 推断的工具是统计量,统计量是样本的函数,是个随机变量;
  • 参数估计通过随机抽取的样本来估计总体分布的未知参数,包括点估计和区间估计;
  • 假设检验通过随机抽取的样本来接受或拒绝关于总体的某个判断,常用于估计机器学习模型的泛化错误率。

image

明日黄花迹难寻:形式逻辑


人工智能必备的形式逻辑基础,以及采用形式逻辑进行自动推理的基本原理,其要点如下:

  • 如果将认知过程定义为对符号的逻辑运算,人工智能的基础就是形式逻辑;
  • 谓词逻辑是知识表示的主要方法;
  • 基于谓词逻辑系统可以实现具有自动推理能力的人工智能;
  • 不完备性定理向“认知的本质是计算”这一人工智能的基本理念提出挑战。

image

拓展阅读参考书


本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

视频 | NIPS 2017线上分享第二期:利用价值网络改进神经机器翻译

在 NIPS 2017 大会正式开始前,机器之心将选出数篇优质论文,邀请论文作者来做线上分享,聊聊理论、技术和研究方法。上周,我们进行了线上分享的第二期,邀请到...

3489
来自专栏大数据文摘

揭秘自编码器,一种捕捉数据最重要特征的神经网络(视频+代码)

1647
来自专栏AI研习社

神经机器翻译的编码 - 解码架构有了新进展, 具体要怎么配置?

用于循环神经网络的编码 - 解码架构,在标准机器翻译基准上取得了最新的成果,并被用于工业翻译服务的核心。 该模型很简单,但是考虑到训练所需的大量数据,以及调整模...

2654
来自专栏AI2ML人工智能to机器学习

变分の美

变分法(Variational method)已经成为微积分后主流的分析工具, 在物理和应用数学有着极大的功能。 变分法的诞生起源于最强大的数学家家族两个兄弟之...

1071
来自专栏自然语言处理

程序员眼中的统计学2

均值有两种计算方法:第一种计算方式是:将所有的数字加起来,然后除以数字的个数 。可用记为:µ=∑x/n。另一种计算方法是把每个数的频数考虑进去了的,它表示如下:...

813
来自专栏专知

【论文笔记】基于实体、属性和关系的知识表示学习

1943
来自专栏Vamei实验室

概率论08 随机变量的函数

作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!

1552
来自专栏生信技能树

用R语言做逻辑回归

用R语言做逻辑回归 jmzeng(jmzeng1314@163.com) 回归的本质是建立一个模型用来预测,而逻辑回归的独特性在于,预测的结果是只能有两种,tr...

39410
来自专栏机器之心

专栏 | 阿里IJCAI 2017 Workshop论文:使用深度强化学习方法求解一类新型三维装箱问题

机器之心专栏 阿里菜鸟物流人工智能部 据机器之心了解,阿里巴巴有 11 篇论文入选如今正在墨尔本进行的 IJCAI 2017 大会,其中 6 篇来自阿里巴巴-浙...

8446
来自专栏云时之间

NLP系列学习:数据平滑

各位小伙伴们大家好,数据平滑这个地方我想使用宗成庆老师的书中的一个例子进行开始,从而引出这一篇文章的主题,我们为什么要需要数据平滑以及常用的数据平滑的模型,话不...

2947

扫码关注云+社区