观点 | Reddit 热门话题:如何阅读并理解论文中的数学内容?

选自Reddit

机器之心编译

参与:Panda

有的机器学习论文中有大量的数学公式和推导过程,读这样的论文往往很是费力费时。为了了解阅读这样的论文的技巧,Reddit 用户 thebackpropaganda 提出了自己的问题:理解机器学习论文读什么书比较好?要读懂数学内容很多的机器学习论文,我又该读什么书?问题发出后反响热烈,很多「过来人」都分享了自己经验和看法。机器之心从中选择了部分进行编译介绍,更多经验可参阅原帖(地址见文后)。

schmook 的回答:

「太多数学(math heavy)」有两种可能的含义。你是指哪种?

一篇「太多数学的论文」可能是指:有很长的公式的论文,有复杂公式的大量代数运算和操作。

当你阅读一篇论文时,你不会只读一次。你首先要阅读标题,然后你要决定要不要读摘要,读完摘要你还要决定是否浏览结果,之后你再决定是否浏览整个文本,等等。人生苦短,要读的文章实在太多了。

要读懂一篇有很多代数运算的论文,秘诀是不要在第一次阅读时就去理解代数部分。这是大多数学生都会犯的错。在第一次阅读时,你不需要理解一个长计算过程的所有步骤。你大略看看并且假设它就是对的,着重看看其中的关键步骤即可。阅读那些公式之间用英语写的内容。阅读结果,阅读结论。当你大概理解了这篇该死的论文在说什么之后,然后再考虑要不要花时间去琢磨那些代数部分。别被你不理解的部分困住。假设它们是对的,然后继续阅读。后面可以回过头再来看。如此反复直到你完全搞懂。

当你像一位「应用数学家」一样熟练时,你就有能力只需略览代数部分就能或多或少理解这部分的内容、想要实现的目的以及需要做哪些步骤。没人能快速阅读对复杂公式的长操作,所以你不需要一开始就读这些。你只需要粗略看看,然后每一次复读都关注越来越细的细节。

另外,你也应该注意,计算中很多时候都会有错误。在第一次阅读时就找到这些错误是不可能的。大多数时候这些错误与这篇文章想要得到的结论无关,但它们会让你困惑,阻碍你对这些代数内容的理解。如果你之前已经有了大概的了解,就能更容易发现这些错误。

另外,当你查看这些等式时,你要确保你能理解这些等式的实际意义。我相信你知道这些等式的数学含义,但你明白这些等式的物理意义吗?(抱歉,因为我是物理学家,所以我只知道这个比喻。)你知道该怎样用普通语言解释给我听吗——这个等式说明了这个特定系统在做什么?你可以说出这样的话吗——「当你最大化 ELBO,这个近似后验将与似然项中的数据允许的先验相似」?这就是 ELBO 表达式背后的「物理意义」。当你达到这种程度时,推理长长的代数操作就轻松多了。要怎样达到这种程度?读大量论文,做大量计算。别无他法。

另一种「太多数学」的论文是指使用了非常形式化的数学语言而且依赖于(有时候是过分依赖或不必要依赖)许多形式的数学概念的论文。比如它引用了勒贝格测度、Radon-Nikodym 导数、西格玛代数等等。

对我来说,这读起来要难得多,因为它们会让我的胡说八道检测器困惑。所有形式部分看起来都很重要。但技巧是一样的:首先略看。现在还无需查阅维基百科了解并记住什么是博雷尔分层(Borel Hierarchy)。留在后面来做吧,你甚至可能不会读这篇论文第二遍。

另外,也可以将形式概念替换成普通场景中的特定案例。很多时候,人们使用形式数学的原因是保证安全,防止出现什么怪异的案例毁了他们的推理。就像是一个自作聪明的在读数学博士问:「哦,要是这个函数是连续的但任何地方都不可微分呢?这仍然有效吗?」所以,你应该假设没有这样自作聪明的人,并用比率来替代所有的 Radon-Nikodym 导数、用好用的黎曼积分的简单函数来替代所有测度,并且假设这个论文作者在卖弄自己,你不需要这些富丽的辞藻来理解他所说的内容。

有时候这种方法不管用,而你又确实应该读那篇充满了形式数学的论文,因为数学在其中发挥了重要作用。那就只有硬着头皮上了。如果你像我一样,形式数学不是长项,那就要花点时间和功夫了。

PassiveAgressiveHobo 的回答:

当我开始阅读论文时,我总是会试图一次性理解所有东西。我总是会卡在小细节上,因为沮丧,大多时候我都不能读完这些论文。后来我看到了这篇论文《如何阅读论文》:http://ccr.sigcomm.org/online/files/p83-keshavA.pdf,现在我正在尝试使用其中的技巧来提升我的阅读能力,目前来看,效果良好。

__boo__ 的回答:

不要担心时间长;这极其取决于论文的新颖性、作者写作的质量和你先前的知识。如果我阅读的是一个熟悉的主题,我读一遍就能理解其中的主要思想。但是我要读好几遍才能消化一篇非常新颖的论文或很少关注的主题的论文。即使如此,那也可能要好几天,甚至好几周,才能得到合理的直觉理解。尽管如此,我过去几年也读完了大约 1000 篇论文。

至少对我来说,关键在于完全理解作者的意图,然后再去研究公式。自下而上地实现目标鲜有成效。(计算机科学博士飘过)

Terminthem 的回答:

相关的 xkcd 漫画:

原文链接:https://www.reddit.com/r/MachineLearning/comments/6rj9r4/d_how_do_you_read_mathheavy_machine_learning/

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-08-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

Science重磅:无需标注数据,DeepMind新研究让机器“脑补”立体世界!

1053
来自专栏数据科学与人工智能

【算法】推荐算法--协同过滤

协同过滤推荐(Collaborative Filtering recommendation)是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内...

1431
来自专栏新智元

【业界】亚马逊宣布开源深度学习工具,“Open”AI或成主流?

【新智元导读】亚马逊也被吹上“flow”的风口:继Facebook昨天公开其深度学习训练平台FBLearner Flow细节,亚马逊今日下午突然宣布开源其深度学...

3556
来自专栏CDA数据分析师

GitHub上25个最受欢迎的开源机器学习库

在过去的几年里,机器学习为各行各业开创了新纪元,诞生了许多成功的案例: Facebook 的面部识别,Netflix 的智能电影推荐系统,PrimaAI 的图像...

852
来自专栏机器之心

学界 | DeepMind论文三连发:如何在仿真环境中生成灵活行为

选自DeepMind 机器之心编译 参与:smith、黄小天、路雪 一只猴子在树林之间敏捷而灵活地跳跃穿梭,或者一名足球运动员快速带球过人、劲射得分,这些表现皆...

3396
来自专栏AI启蒙研究院

党给我智慧给我胆,梯度给我努力的方向

1675
来自专栏专知

【斯坦福大学吴恩达博士生Ziang Xie】深度文本生成最佳实战指南(附指南下载)

【导读】人们期待未来有一天计算机能够像人类一样会写作,能够撰写出高质量的自然语言文本。文本自动生成就是实现这一目的的关键技术。按照不同的输入划分,文本自动生成可...

1.2K7
来自专栏机器之心

业界 | OpenAI发布8个仿真机器人环境和HER实现:可用于训练实体机器人模型

选自OpenAI 机器之心编译 本文发布八个仿真机器人环境和 Hindsight Experience Replay 的基线实现,这是过去一年的成果总结作者已用...

3264
来自专栏方舒的专栏

【 SPA大赛 】关于数据处理和特征工程的一些分享

笔者就对其进行了一些探索性的分析,包括对数据变量之间的联系和数据分布情况的统计,并对其进行了可视化。进行可视化之后,就可以对原始数据有进一步的了解,然后进行数据...

3810
来自专栏数据派THU

独家 | 从零开始用python搭建推荐引擎(附代码)

当今社会的每个人都面临着各种各样的选择。例如,如果我漫无目的想找一本书读,那么关于我如何搜索就会出现很多可能。这样一来,我可能会浪费很多时间在网上浏览,并且在各...

4684

扫码关注云+社区

领取腾讯云代金券