一文看尽深度学习这半年

原作：Ross Taylor 岳排槐 编译整理 量子位 出品 | 公众号 QbitAI

追踪深度学习这样一个大热领域的进展并不容易。

为了解决这个问题，年初我和Robert Stojnic搞了Papers With Code，这个网站把深度学习的研究论文和代码结合在一起。

这也能让我们有机会鸟瞰这个领域，包括研究趋势、热门框架以及哪些技术正受到青睐。这篇博文就用来分享这些。

以下的趋势总结，都来自于网站的数据。我们一起来总结下2018下半年的关键突破，以及深度学习社群的未来之路。

最热模型：BERT、vid2vid和graph_nets

Google AI十月发布的BERT论文，引发了深度学习界的强烈关注。这篇论文提出了一种深度双向Transformer模型。BERT刷新了11种NLP任务的最佳表现，包括斯坦福问答数据集（SQuAD）。

Google AI随后开源了这篇论文的代码，一个月的时间，BERT在GitHub上已经获得8000多次的标星，而且还在快速增加。

论文： https://arxiv.org/abs/1810.04805

GitHub地址： https://github.com/google-research/bert

英伟达的Video-to-Video（vid2vid）合成论文，介绍了一个效果惊人的生成模型，过去几年里这也是最受欢迎的深度学习领域之一。

这篇论文利用新颖的顺序生成器架构，以及一些诸如前景和背景先验（foreground-and-background priors）等设计特征，来修复时间不连贯的问题，进而提高性能。

英伟达也开源了代码，成为今年下半年第二大最受欢迎的实现。

论文： https://arxiv.org/abs/1808.06601

GitHub地址： https://github.com/NVIDIA/vid2vid

Google DeepMind关于图网络（graph_nets）的论文，在年中的时候获得了大量的关注。这个研究，为深度学习提供了一种数据结构化的新方向。这是今年下半年第三大最后欢迎的实现。

论文： https://arxiv.org/abs/1806.01261v3

GitHub地址： https://github.com/deepmind/graph_nets

最流行的项目：DeOldify、BERT和Fast R-CNN

DeOldify是一个使用GAN修复黑白老照片以及重新上色的项目。

这个项目在深度学习社群引发极大的兴趣，作者Jason Antic使用了SA-GANs、PG-GANs等完成了搭建。目前，这个项目在GitHub上超过4000标星。

GitHub地址： https://github.com/jantic/DeOldify

BERT的PyTorch实现，也获得了广泛关注。

这个实现是韩国小哥Junseong Kim完成的，他表示代码很简单，而且也易于理解，其中一些代码基于The Annotated Transformer。目前这个项目在GitHub上获得1500多标星。

GitHub地址： https://github.com/codertimo/BERT-pytorch

最后要介绍的，是Mask R-CNN的Keras/TensorFlow实现。

这个项目的架构，基于一个Feature Pyramid Network和一个ResNet101 backbone。这个库可用于多种场景，例如3D场景重建、自动驾驶的目标检测等。目前这个项目在GitHub上标星超过8000。

GitHub地址： https://github.com/matterport/Mask_RCNN

数说现状

NLP和GAN最热

查看Top50的实现，最热门的字段是生成模型和自然语言处理。

在生成模型中，GitHub上流行的实现包括：vid2vid，DeOldify，CycleGAN以及faceswaps。

在NLP领域，GitHub上流行的仓库包括：BERT，HanLP，jieba，AllenNLP以及fastText。

7篇新论文中，只有1篇附代码

每隔20分钟，就会出现一片新机器学习论文

自从7月以来，机器学习论文的月增长率一直在3.5%左右，年增长率约50%。这意味着每个月2200篇机器学习论文被发布，明年约有3万篇新机器学习论文会被发布。

这个速度比摩尔定律还快。

框架双寡头：TensorFlow和PyTorch

最后，如果你还没听说过Papers With Code，下面是传送门：

https://paperswithcode.com/

— 完 —