如何快速进阶AI的资源

前言：

本文译自：https://towardsdatascience.com/getting-started-with-reading-deep-learning-research-papers-the-why-and-the-how-dfd1ac15dbc0 译者做了不更改原意的修改，原作者保留版权

有很多的初学者表示，在完成深度学习的在线课程之后学到了很多的东西，但是却不知道如何进行下一步的学习，如何独自做出下一次的突破成为亟需解决的问题。那么，解决的答案就是阅读相关的论文！尤其是研究性质的。 首先在阅读论文之前，需要先搞懂两个问题：WHY ! and HOW !

WHY

为什么要阅读论文？我们可以从Quora上找到解答。在Quora上有人提问：如何测试一个人是否有资格从事机器学习？

Andrew Ng（创始人谷歌大脑，百度AI小组前负责人）表示，任何人都有资格从事机器学习 。他说，在完成一些与ML相关的课程后，“更进一步，阅读研究论文。更好的是，尝试在研究论文中复制结果。“ Dario Amodei（OpenAI的研究员）说，“为了测试你是否适合在AI安全或ML工作，只是尝试很快地实现很多模型。从最近的一篇论文中找到一个ML模型，实现它，试着让它快速运行。“

这表明阅读研究论文对于进一步了解该领域至关重要。任何认真学习该领域的人都不能仅仅依靠教程式的文章，或其他人分享的最新研究的课程成为某个领域的专家。

arxiv上每个月都会发表数百篇论文，这些论文代表了某个领域最新的研究成果，能帮助研究者们了解这一领域的研究历史，典型工作，研究现状及研究前沿。

在本文中，笔者将尝试为您提供一些有关如何自己开始阅读论文的可操作建议。然后，笔者将尝试通过解读实际的论文做演示，帮助初学者快速了解如何阅读深度学习研究性质的论文。

HOW

在具体将怎么阅读科研论文之前，先打个预防针，首先，阅读科研论文很让人困惑，事实上，没有其他事情比阅读论文更让你感到愚蠢的了。这篇文章里面有让人信服的理由：http://www.sciencemag.org/careers/2016/01/how-read-scientific-paper 希望这样说能让看不懂论文的童鞋好受一些，就要气馁，你不可能看到论文就能理解它。 所要做的是，坚韧不拔，再读一次！

现在，让我们谈谈一些有助于阅读的宝贵资源。

arXiv.org

可以把它想象成互联网上的论文聚集地，这里收录了研究人员在着名的科学期刊或会议（如果有的话）之前发表的论文。

arxiv上的论文只有作者上传了才有，好在AI领域的paper大多是public的

有的研究者他们在完成论文后可以选择将论文上传到arxiv上，他们为什么要那样做？

嗯，事实证明，做研究并实际写论文并不是中带你。 将论文提交到某些科学期刊上发表是一个漫长的过程。 在将论文提交给其中一个期刊之后，有一个同行评审过程可能会非常缓慢（6个月，有时甚至跨越多年！）现在，这对于机器学习等快速发展的领域来说真的是不可取的。

这就是为什么，arXiv！！！。

研究人员将他们的论文发布在像arXiv库上，以便快速传播他们的研究并获得快速反馈。

Arxiv Sanity Preserver

好的，所以允许研究人员轻松“预出版”他们的研究论文是好的。 那些阅读这些论文的人怎么样？ 如果你去arXiv网站，很容易感到迷茫。 绝对不是初学者自由学习的地方（只是笔者的意见，也欢迎你尝试）。

首先进入链接，Arxiv Sanity Preserver：http://www.arxiv-sanity.com/。

这是由特斯拉的AI主管Andrej Karpathy和我个人最喜欢的AI研究员er建造

Arxiv Sanity对arXiv做了什么就好比如Twitter的新闻源对Twitter做了什么（除了它完全是开源的，没有广告，显然的嘛）。 就像新闻源让你看到最有趣的推文，从Twitter的海量信息中，根据自己的喜好个性化，类似的Arxiv Sanity带来了关于在arXiv上发布的ML的论文，这可能对你来说最有趣。 它可以让您根据过去的喜好以及您所关注的人的喜好，根据趋势对论文进行排序。 （要知道，这些个性化推荐功能是我们已经习惯了社交媒体的。）

有一个关于这个网站的短视频介绍，欢迎浏览，国内需要访问外国网站，链接是：https://youtu.be/S2GY3gh6qC8

机器学习 - Reddit上的WAYR线程

WAYR是What Are You Reading的缩写。 它是subreddit机器学习的一个主题，人们发布他们在本周阅读的ML论文，并讨论他们发现的有趣内容。

正如我所说，每周在arXiv上发表的机器学习领域的研究论文数量非常多。 这意味着一个人几乎不可能每周阅读所有这些内容并做常规事情，如上大学或上班或与其他人交往。 而且，它并不像所有论文都值得一读。

因此，你需要投入精力去阅读最有前途的论文，而我上面提到的话题就是这样做的一种方式。

Newsletters，Newsletters，Newsletters！

Newsletters是我个人追踪人工智能领域最新进展的最佳来源。 你可以选择订阅它们，并且每周一免费将它们发送到你的收件箱！ 就这样，你可以了解本周与AI相关的最有趣的新闻，文章和研究论文。

我简单的列举了一些我订阅的内容供你们参考：

1. Import AI by Jack Clark：https://jack-clark.net/ 这是我的最爱，因为除了提供我上面提到的所有内容的信息外，它还有一个名为“Tech Tales”的部分。 本节包含基于过去一周活动的新AI相关短篇小说故事！ （Psst ..一个忏悔：即使在那些我对AI中的新事物没有那么热情的那几周，我也会因为Tech Tales而浏览这个Newletters）
2. Machine Learnings by Sam DeBrule：https://machinelearnings.co/ 他还有同名的中型出版物。 它包含一些非常有趣的文章，强烈推荐pick它。
3. Nathan.ai by Nathan Benaich：https://www.getrevue.co/profile/nathanbenaich 虽然上述两份newletters都是每周一次，但这是一份季刊。 因此，你每3个月会收到一封长电子邮件，其中总结了过去3个月内该领域最有趣的发展。
4. The Wild Week in AI by Denny Britz：https://www.getrevue.co/profile/wildml 我真的很喜欢这个，因为它干净，简洁的演示如何如何，但自过去2个月似乎这已经变得不活跃。

“AI people” on Twitter

另一个可以跟上最佳和最新领域的好方法是跟随着Twitter上着名的研究人员和开发人员的说法。 以下是我关注的人员列表：

1. Michael Nielsen
2. Andrej Karpathy
3. Francois Chollet
4. Yann LeCun
5. Chris Olah
6. Jack Clark
7. Ian Goodfellow
8. Jeff Dean
9. OpenAI (好吧，这是一个假的people，但是。。。)

正确姿势阅读论文

资源分享到此结束，接下来开始讲解如何阅读论文，这才是最紧迫的一个问题。

好的，首先要确保你了解机器学习的基础知识，如回归和其他此类算法，深度学习的基础知识 - 普通的卷积神经网络，反向传播，正则化以及比如ConvNets，RNN和 LSTM。 但是，我真的不认为阅读研究论文是了解这些基础知识的最佳方法。 有很多其他资源可供你参考，比如国内的知乎、CSDN，微信推文。

一旦你完成了基础知识的巩固，你应该首先阅读一篇最初介绍上述知识点的论文。 这样，你就可以专注于习惯研究论文的整体形式。

在这里，我推荐阅读的第一篇论文是： AlexNet ：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks

为什么选择这个paper ？ 可以先看下面这张图：

从这张图注意到CVPR的发展曲线了嘛，12年是一个转折点？嗯，这很大程度上是因为这篇论文。！

这篇论文重新点燃了深度学习研究员的所有兴趣。

由Alex Krizhevsky，Ilya Sutskever和Geoffrey Hinton撰写，题为ImageNet Classification with Deep Convolutional Networks，本文被认为是该领域最具影响力的论文之一。它描述了作者如何使用CNN（名为AlexNet）赢得ImageNet大规模视觉识别挑战赛（ILSVRC）2012。

使计算机能够查看和识别对象（又名计算机视觉）是计算机科学最早的目标之一。 ILSVRC就像是这种“seeing computers”的奥运会，其中参与者（计算机算法）试图将图像正确地识别为属于1000个类别之一。而且，2012年，AlexNet以远超第二名的成绩赢得了冠军：top-5错误率是15.3％，而第二名才26.2％！

毋庸置疑，整个计算机视觉社区都令人敬畏，该领域得到了快速的研究和突破。 人们开始意识到深度神经网络的强大功能，在这里，你正在试图获得其中的一块馅饼！

话虽这么说，如果您通过一些课程或教程对CNN有基本的了解，那么掌握本文的内容将非常容易。 所以，给你更大的力量！

完成本文后，您可以查看与CNN相关的其他此类开创性论文，或者转移到您感兴趣的其他架构（RNN，LSTM，GAN）。

还有很多存储库在Github上的深度学习中有很多重要的研究论文（这里很酷）。 开始时一定要检查出来。 他们将帮助您创建自己的阅读列表。

Distill.pub

如果不提及Distill.pub，那我就太失职了 我只想说一件事 - 如果所有研究论文都在Distill期刊上发表，那么我可能不会写这篇文章，你不必阅读一篇文章来指导你阅读研究论文，互联网需要更少（如果在 所有）课程和教程，试图用可理解的术语解释这些开创性的研究思想。 我会让Michael Nielsen在Distill期刊背后给你一个更合适的动机。 https://blog.ycombinator.com/distill-an-interactive-visual-journal-for-machine-learning-research/ 所以，一定要查看这里面的文章，它真的是下一代的东西！

原作者是：Nityesh Agarwal，一位读者、写手、和程序猿 作者的twitter是：https://twitter.com/nityeshaga 作者的领英是：https://www.linkedin.com/in/nityeshaga/

参考文献：

【1】https://towardsdatascience.com/getting-started-with-reading-deep-learning-research-papers-the-why-and-the-how-dfd1ac15dbc0 【2】http://www.sciencemag.org/careers/2016/01/how-read-scientific-paper 【3】https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks