论文无法复现！真公开处刑！PapersWithCode上线「论文复现报告」

Amusi

发布于 2021-06-09 16:23:25

7390

发布于 2021-06-09 16:23:25

文章被收录于专栏：CVerCVer

本文转载自：机器之心 | 编辑：杜伟

近日，机器学习资源网站 PapersWithCode 上线了一项新功能，对于其举办的论文复现挑战赛 RC2020 中提交的一些论文，它们将提供详细的复现报告。这是 ML 社区重视「研究论文可复现性」的新信号。

现在，越来越多的机器学习（ML）研究者选择在论文发表时同步公开自己的代码，像 arXiv 这样的论文预印本平台也选择与机器学习资源网站 Papers with Code 合作，支持研究者在 arXiv 页面上添加代码链接。ICML、ICLR、NeurIPS 等一些顶会也要求投稿人在提交论文的时候附上代码，以供审稿人测试，确保其研究结果的可复现性。

但这一切仍然不代表论文复现变得容易了。前段时间，Reddit 用户「ContributionSecure14」在花费长时间复现一篇论文失败后，产生了专门列出无法复现论文清单的想法。他创建了一个名为「Papers Without Code」的 ML 研究反馈平台，专门挂出那些大家都无法复现的论文研究。

如果提交内容有效，则 Papers Without Code 方面将与该论文原作者联系，并要求其澄清或公布实现细节。论文成功复现后，可以在 PapersWithCode 或 GitHub 上发布，供其他研究人员参考。如果作者未及时答复，该论文将被添加到「不可复现的机器学习论文列表」中，公开处刑。

目前，该网站上挂出了 19 篇论文，详细列出了标题、链接、提交原因以及解决与否，可以看到有 8 篇论文显示「已被解决」。

但应看到，该网站创建数月以来，也仅仅提交了 19 篇论文，对于提升机器学习社区可复现方面远远不够。

近日，ML 领域著名的论文和代码资源网站 PapersWithCode 终于向「有代码也复现不了」这一老大难问题下手了，宣布其上线了新功能：论文可以链接到复现报告了！这是 ML 社区重视研究论文可复现性的新信号。

PapersWithCode：论文终于有复现报告了

PapersWithCode 以 ICML 2020 论文《Training Binary Neural Networks using the Bayesian Learning Rule》为例展示「论文复现报告」这项新功能。可以看到，PapersWithCode 在论文下方提供了复现报告，包括提交日期和报告摘要。

大家或者注意到了这份复现报告的提交者为「RC 2020」，这是 PapersWithCode 组织的一项 ML 顶会论文复现挑战赛。这项赛事的目的是鼓励可靠且可复现研究成果的发表和分享，ML 社区的成员可以选择顶会接收的论文来尝试复现。

所有的复现报告都将通过 OpenReview 进行同行评审，并显示在 PapersWithCode 网站原始论文的下方。在每年的复现挑战赛中，一批在「洞见性、正确性、逻辑清晰」等方面表现优秀的论文会发表在 ReScience C 期刊上。

与其他传统科学期刊截然不同，ReScience C 可以说是一个 GitHub 项目，提供了关于计算研究的每个新实现以及评审、解释和测试。PapersWithCode 的示例论文《Training Binary Neural Networks using the Bayesian Learning Rule》就发表在了该期刊上。目前，OpenReview 列出了所有在 RC 2020 挑战赛中被 ReScience C 接收的论文列表。