机器之心报道
编辑:杜伟、陈萍
快速阅读论文是研究人员不可或缺的一项技能,有人需要很长的时间才能理解一篇论文,而有的人几个小时就能掌握全部内容。本文中 Kirill Demochkin 仅用 2.5 个小时就能完成论文阅读、写摘要到发布博客。我们不妨看看他是如何实现的。
一万个人心里有一万个哈姆雷特,对于论文写作与阅读,每个人都有自己的观点与方法。
写作和阅读论文是研究人员必备的核心技能。一篇好的论文涉及多方因素,作者要准确传达核心观点,并证明其是可行的。想要达到这一目的,作者应当从语句、段落、章节、全文等多方面做好论文的结构。
AI 领域的论文更是如此,养成良好的写作习惯、追求有洞见有影响力的论文、论文极致精炼且阐述尽量简洁、要有准确的定位,这些经验似乎已经成为论文写作的准绳。
三星人工智能中心的 AI 研究科学家、Casual GAN Papers 网站创始人 Kirill Demochkin 一直致力于论文写作方面的经验分享。近日他发布了新的文章,主题为「过去 6 个月为 50 篇 AI 论文撰写摘要,从中学到了什么?」
Kirill Demochkin
在这 50 篇论文中,大约 40% 关于 GAN 或 GAN 相关,其余为 NeRF、Visual Transformers、CLIP 以及其他看起来有趣的主题。
Kirill Demochkin 表示,自己每周写两篇摘要已经有一段时间了,所以想分享一些过程中学到的技巧!
首先,他从头到尾读完一篇论文,写摘要,把图形编译成一张图片,然后发布到频道和博客上通常需要 2.5 个小时。他主要选择那些看起来有吸引力以及在推特上引起很大轰动的论文。他还倾向于「有趣」的论文,这些论文有酷炫的图像、动态展示结果以及引人注目的标题。一旦决定要为一篇论文写摘要,他就会检查是否有任何与之相关的「必需」阅读,然后弄清楚新方法试图解决什么问题,以及现有方法为什么不够用。
然后,他会浏览「方法」部分,查看论文图表。
最后,确保「实验」部分在数字、指标、基线和消融方面有意义。
至于为什么要花 6 个月的时间为 50 篇 AI 论文撰写摘要?他认为,快速阅读论文是所有研究人员的一项必备技能,尤其是飞速发展的 AI 领域。对自己看过论文的 idea 进行总结可以更好地记住它们。
Demochkin 提到从阅读论文到发布博客需要 2.5 个小时。对此,有网友提问道,「2.5 个小时是整个过程,还是只是阅读论文的时间?在一次面试中,我被要求在 1.5 小时内阅读并复现一篇 AI 论文(论文大概 6-10 页),我甚至论文都没看完,显然我没得到那份工作。我在想是不是只有我一个人应该提高自己的水平,还是在 1.5 小时内不能完成整个过程很正常。」
还有网友表示:「这取决于我想深入研究的深度和我对该领域的熟悉程度,但我可能需要几个小时才能彻底阅读一篇不熟悉的论文并写出笔记。实现所需的时间差别很大,但在 1.5 小时内完成所有这些听起来有点疯狂,除非它真的很简单。」
还有人觉得这听起来很疯狂。
Kirill Demochkin 阅读论文技巧
Kirill Demochkin 查看论文的资源来自 paperswithcode、reddit,以及同事分享的 feedly 列表。
了解背景知识
论文不是凭空写的,几乎任何一篇论文都有前期研究,甚至是像 NeRF 这样的突破性研究。理解前期工作能够帮助我们了解所提方法潜在的优缺点。不幸的是,我们不能花费一周的时间来研究论文中所引用的论文,以构建这一背景知识。因此最好的策略是通过明确写出一篇论文试图解决的具体任务、现有的替代解决方案、这些解决方案会带来的问题,以及为什么作者认为他们的方法避开了这些问题。
把握文章主旨
阅读文章时首先要阅读章节和小节标题,并将它们与文章中提出的架构 / pipeline 的图形部分联系起来。这样,在阅读文章细节之前,你会在脑海中勾勒出论文大概框架。
对实验进行全面检查
文章作者通常会将所做的研究进行打包,以软件包的形式呈现出来。但是这样做,有时会遗漏一些重要细节。通常来说,对研究打包是很好的,但是,从另一方面你可以根据遗漏的内容和原因获得更多的见解。要实现这一点,你需要做到以下几条:
关于实验的一些见解
最后,享受成功的喜悦,让好的结果帮助你实现更加优化的方法,以用到其他项目。
读写论文,大佬建议这样做
之前,机器学习曾介绍过清华大学副教授刘知远、AI 领域著名学者吴恩达等关于读写论文的经验分享。
写论文
刘知远为 NLP 领域的学生如何写出一篇合格的论文提供了一些建议,简单总结如下:
总之,刘知远认为,要想写出一篇合格的 NLP 论文,首先是态度问题,只有态度重视,才有可能不厌其烦地反复修改,才会「不择手段」地寻找各种办法来尽力改进论文(找学长找外教借助 Grammarly 工具等)。其次是动手问题,只有写下来,才可能不断改,只要改就能不断进步。最后是经验问题,要写得精彩可能需要天赋,而要写得合格,只要坚持写,不断根据评阅人和其他人的意见进行思考和修改,就可以进步。总之,坚持就是胜利。
读论文
在 CS230 课程中,吴恩达对于研究规划与如何读论文也提出了他的一些建议。
如果要高效地阅读论文,吴恩达表示我们想要知道论文的来源,例如 arXiv 或个人博客等。下面,如果我们列出 5 篇待读论文,那么吴恩达的习惯是每一篇列一行,表示从 0 到 100 的阅读进度。最开始我们只需要阅读每一篇的 10% 左右,如果发现论文 2 不是我们想要的,就终结它。如果论文 3 是重要的,那么仔细阅读到进度 100%。
由论文 3,我们可以发现其它相关研究,因此也可以加到论文列表中,例如第 6、7 篇。读完论文 3 也许会发现论文 4 也非常有意思,那么结合 4、6、7 继续阅读,并记录阅读进度。
最后,如果阅读 5-20 篇论文,差不多我们对该领域就有一定的了解了。如果高效阅读 50 到 100 篇论文,那么对该领域的理解就比较完整了。Ng 的背包内每天都会带一个文本夹,里面的纸质打印论文就是他的论文列表。
那么具体如何阅读一篇论文呢?吴恩达表示,从第一个词浏览到最后一个词,这是最差的方式。一般而言,我们要多次浏览论文,且每一次的目的都不相同。
首先第一遍应该只看标题、摘要和图表,摘要能告诉我们论文讲了什么,而对于深度学习研究工作,很多都能总结成一两张图表。第二遍应该继续看前言、结语和图表,其它的内容我们可以暂时不管。注意在看前言时,相关研究部分也可以不管,虽然该部分对于理解研究脉络很有帮助,但第二遍应该需要抓住主要思想。
第三遍阅读就要纵览论文主体了,但同时那些耗费时间的数学与推导部分可以暂时跳过,我们掌握整体脉络与框架就行。第四遍需要阅读所有的内容,但这时候肯定还会有一些部分不能理解,那么暂时跳过它们以后再攻坚。
相关阅读:
参考链接:
https://www.reddit.com/r/MachineLearning/comments/pgitms/d_here_is_what_i_learned_from_writing_50/
https://www.casualganpapers.com/how-to-learn-to-read-ai-papers-quickly/How-To-Read-AI-Papers-explained.html
与吴恩达共话ML未来发展,2021亚马逊云科技中国峰会可「玩」可「学」
2021亚马逊云科技中国峰会「第二站」将于9月9日-9月14日全程在线上举办。对于AI开发者来说,9月14日举办的「人工智能和机器学习峰会」最值得关注。
当天上午,亚马逊云科技人工智能与机器学习副总裁Swami Sivasubramanian 博士与 AI 领域著名学者、Landing AI 创始人吴恩达(Andrew Ng )博士展开一场「炉边谈话」。
不仅如此,「人工智能和机器学习峰会」还设置了四大分论坛,分别为「机器学习科学」、「机器学习的影响」、「无需依赖专业知识的机器学习实践」和「机器学习如何落地」,从技术原理、实际场景中的应用落地以及对行业领域的影响等多个方面详细阐述了机器学习的发展。
点击阅读原文,立即报名。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:content@jiqizhixin.com