“花书”的佐餐,你的线性代数笔记

原作:Hadrien Jean 线性栗子 编译自 GitHub 量子位 出品 | 公众号 QbitAI

最近,巴黎高等师范学院的博士生Hadrien Jean,整理了关于深度学习“花书”的一套笔记,还有幸在推特上被Ian Goodfellow老师翻了牌。

充满爱意的一推

这份笔记是针对“花书”的线性代数一章,快要毕业的Jean希望初来乍到的小朋友们,可以在笔记的辅佐之下,了解深度学习里最常用的数学理论,并加以轻松的支配。

要解锁自己的数据科学技能,或许就要从线性代数开始。而对于深度学习领域的大家,如果把理论代码搭配食用,疗效可能会更好。

而Jean在笔记里列举的各种例子,可以帮助初学者用一种更直观且实用的方式,学好线代。要跟住他的脚步,可能需要准备好NumpyPython

现在,我们来看一下,这份笔记走的是怎样一个疗程——

1 标量、向量、矩阵和张量

标量,向量,矩阵,张量 (左起)

这一课讲了向量和矩阵,以及它们的一些基础运算。另外,这里介绍了Numpy的一些相关函数,也浅浅地谈到了Broadcasting机制。

2 矩阵和向量的乘法

矩阵与向量的点乘

本小节主要讨论的是,向量和矩阵的点积,我们可以从中了解矩阵的一些属性。之后,便是用矩阵符号来创建一个线性方程组——这也是日后的学习里,经常要做的事情。

3 单位矩阵和逆矩阵

单位矩阵长这样

我们要了解这两种矩阵为什么重要,然后知道怎样在Numpy里和它们玩耍。另外,本小节包含用逆矩阵求解线性方程组的一个例题。

4 线性依赖与线性生成空间

线性方程组,除非无解,不然要么有唯一解,要么有无穷多解

看着图像,我们可能更直观地了解,这件看上去理所当然的事情,背后的道理是什么。

无解,一解,无穷多解 (左起)

回到方程组的矩阵形式,感受Gilbert Strang说的“横看成岭侧成峰”——竖看几个方程,横看一个方程里的多个系数。

然后,我们要理解什么是线性组合,还会看到关于超定和欠定方程组的几个例子。

5 范数

向量的范数是个函数,将一个向量输入,我们就得到一个正值——可以把它看做向量的长度

范数可以用来衡量模型预测值与实际值之间的距离

6 特殊的矩阵和向量

对角矩阵 (左) 与对称矩阵 (右)

一些矩阵和向量,会有和普通矩阵/向量不一样的有趣特性。虽然,这个小节不长,但对理解后面的内容会有帮助。

7 特征分解

这里,有线性代数的一些主要概念。我们可以对特征向量和特征值,有一个初步的了解。

大家将会看到,矩阵并不像外表那样单调,它们可以作为线性变换的工具。用一个矩阵对它的特征向量做些加工,便会得到方向相同的新向量

特征向量 (蓝箭头) ,线性变换后的向量 (黄箭头)

然后,矩阵还可以用来表示二次函数。利用矩阵的特征分解,可以找到对应函数的最大值和最小值。

如果坚持读到这个小节,就可以解锁用Python将线性变换可视化的操作。

8 奇异值分解 (SVD)

这是除了特征值分解之外的,另一种矩阵分解方式。SVD是将一个矩阵,分解到三个新矩阵里面。

一分为三的矩阵A

依照“将矩阵看做空间的线性变换”这一理念,我们可以将这些新的矩阵,当做空间的子变换——变换并非一步达成,而是经过了三个分解动作。

走到这里,就可以捡起“将SVD用于图像处理”的新装备。

9 摩尔-彭若斯伪逆

在研究矩阵的路上,我们会遇到不同的风景。

并不是所有矩阵都有自己的逆矩阵。不幸之处不在于孤独,而在于逆矩阵可以用来解方程组。方程组无解的时候,也就没有逆矩阵。

无解的超定方程组

不过,如果将误差最小化,我们也可以找到一个很像解的东西。伪逆便是用来找假解的。

10 迹

矩阵的迹

上图就是矩阵的。后面讲到主成分分析 (PCA) 的时候,会需要这个看上去不怎么厉害的东西。

11 行列式

有正有负的行列式

行列式是一个奇妙的数值,可以告诉我们关于矩阵的很多秘密。

12 主成分分析 (PCA) 例题

要找到编码与解码的方法

恭喜大家来到线性代数的最后一课

用上前十一课传授的全部技能,便能掌握这一数据分析重要工具的使用方法。

虽然,我还没有非常了解,用Python和Numpy学线代,会是怎样一种愉快的体验。不过,这份笔记看去有几分软妹,图片配色和我学线代那年所见的硬汉画风截然不同,相信初学者的各位也会很有食欲的。

据说,“花书”和春天更配哦。

全套笔记真容在此: https://hadrienj.github.io/posts/

花书线代章节在此: http://www.deeplearningbook.org/contents/linear_algebra.html

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-03-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

媲美人类有何不可?深度解读微软新AI翻译系统四大秘技

AI 科技评论按:3 月 15 日的文章《机器翻译新突破,微软中英新闻翻译达人类水平》中,我们介绍了微软亚洲研究院与雷德蒙研究院共同研发的新的机器翻译系统,微软...

3728
来自专栏AI科技大本营的专栏

刚毕业就能拿到56万年薪?对!看看Twitter机器学习大牛写给你的进阶手册吧

年薪十万?对于程序员来说,这仅仅是温饱水平。 根据国家统计局今年上半年发布的消息,2016 年信息传输、软件和信息技术服务业的平均工资为 122478 元,首次...

3817
来自专栏人工智能

掌握机器学习数学基础之概率统计(二)

标题: 机器学习为什么要使用概率 概率学派和贝叶斯学派 何为随机变量和何又为概率分布? 条件概率,联合概率和全概率公式: 边缘概率 独立性和条件独立性 期望、方...

2275
来自专栏IT派

浅谈贝叶斯和MCMC

‍‍Abstract:最近课业内的任务不是很多,又邻近暑假了,就在网上搜了一些有关于机器学习和深度学习的课程进行学习。网上的资料非常繁多,很难甄别,我也是货比三...

1863
来自专栏美团技术团队

【AI in 美团】深度学习在文本领域的应用

AI(人工智能)技术已经广泛应用于美团的众多业务,从美团App到大众点评App,从外卖到打车出行,从旅游到婚庆亲子,美团数百名最优秀的算法工程师正致力于将AI技...

2482
来自专栏新智元

【突破】深度学习计算消耗降低95%,KDD2017哈希法研究加速神经网络进化

【新智元导读】 莱斯大学两位研究员使用一种基于 Hashing 的新技术,大幅减少了训练和测试神经网络所需的计算量。他们称:“1000 个神经元的网络我们能节能...

4089
来自专栏机器之心

业界 | 分子性质预测新突破:谷歌新型神经网络助力化学研究

选自Google Research Blog 作者:George Dahl 机器之心编译 参与:吴攀 理论上讲,由原子构成的分子种类的数量是无穷大的。要了解这些...

39810
来自专栏AI科技大本营的专栏

浅谈贝叶斯和MCMC

‍‍Abstract:最近课业内的任务不是很多,又邻近暑假了,就在网上搜了一些有关于机器学习和深度学习的课程进行学习。网上的资料非常繁多,很难甄别,我也是货比三...

1743
来自专栏计算机视觉战队

简单易懂的讲解深度学习(入门系列之三)

在之前系列中已大致了解了机器学习的形式化定义和神经网络的概念,在本小节中,将相对深入地探讨一下神经网络中的神经元模型以及深度学习常常用到的激活函数及卷积函数。

1512
来自专栏人工智能头条

机器学习 —— 浅谈贝叶斯和MCMC

2302

扫码关注云+社区

领取腾讯云代金券