转载来源
公众号:量子位
原作:Ross Taylor
“
阅读本文大概需要 5 分钟。
”
追踪深度学习这样一个大热领域的进展并不容易。
为了解决这个问题,年初我和 Robert Stojnic 搞了 Papers With Code,这个网站把深度学习的研究论文和代码结合在一起。
这也能让我们有机会鸟瞰这个领域,包括研究趋势、热门框架以及哪些技术正受到青睐。这篇博文就用来分享这些。
以下的趋势总结,都来自于网站的数据。我们一起来总结下 2018 下半年的关键突破,以及深度学习社群的未来之路。
Google AI 十月发布的BERT论文,引发了深度学习界的强烈关注。这篇论文提出了一种深度双向 Transformer 模型。BERT 刷新了 11 种 NLP 任务的最佳表现,包括斯坦福问答数据集(SQuAD)。
Google AI 随后开源了这篇论文的代码,一个月的时间,BERT 在 GitHub 上已经获得 8000 多次的标星,而且还在快速增加。
论文: https://arxiv.org/abs/1810.04805
GitHub 地址: https://github.com/google-research/bert
英伟达的 Video-to-Video(vid2vid)合成论文,介绍了一个效果惊人的生成模型,过去几年里这也是最受欢迎的深度学习领域之一。
这篇论文利用新颖的顺序生成器架构,以及一些诸如前景和背景先验(foreground-and-background priors)等设计特征,来修复时间不连贯的问题,进而提高性能。
英伟达也开源了代码,成为今年下半年第二大最受欢迎的实现。
论文: https://arxiv.org/abs/1808.06601
GitHub 地址: https://github.com/NVIDIA/vid2vid
Google DeepMind 关于图网络(graph_nets)的论文,在年中的时候获得了大量的关注。这个研究,为深度学习提供了一种数据结构化的新方向。这是今年下半年第三大最后欢迎的实现。
论文: https://arxiv.org/abs/1806.01261v3
GitHub 地址: https://github.com/deepmind/graph_nets
DeOldify 是一个使用 GAN 修复黑白老照片以及重新上色的项目。
这个项目在深度学习社群引发极大的兴趣,作者 Jason Antic 使用了 SA-GANs、PG-GANs 等完成了搭建。目前,这个项目在 GitHub 上超过 4000 标星。
GitHub 地址: https://github.com/jantic/DeOldify
BERT 的 PyTorch 实现,也获得了广泛关注。
这个实现是韩国小哥 Junseong Kim 完成的,他表示代码很简单,而且也易于理解,其中一些代码基于 The Annotated Transformer。目前这个项目在 GitHub 上获得 1500 多标星。
GitHub 地址: https://github.com/codertimo/BERT-pytorch
最后要介绍的,是 Mask R-CNN 的 Keras/TensorFlow 实现。
这个项目的架构,基于一个 Feature Pyramid Network 和一个 ResNet101 backbone。这个库可用于多种场景,例如 3D 场景重建、自动驾驶的目标检测等。目前这个项目在 GitHub 上标星超过 8000。
GitHub 地址: https://github.com/matterport/Mask_RCNN
NLP 和 GAN 最热
查看 Top50 的实现,最热门的字段是生成模型和自然语言处理。
在生成模型中,GitHub 上流行的实现包括:vid2vid,DeOldify,CycleGAN 以及 faceswaps。
在 NLP 领域,GitHub 上流行的仓库包括:BERT,HanLP,jieba,AllenNLP 以及 fastText。
7 篇新论文中,只有 1 篇附代码
每隔 20 分钟,就会出现一片新机器学习论文
自从 7 月以来,机器学习论文的月增长率一直在 3.5% 左右,年增长率约 50%。这意味着每个月 2200 篇机器学习论文被发布,明年约有 3 万篇新机器学习论文会被发布。
这个速度比摩尔定律还快。
框架双寡头:TensorFlow 和 PyTorch
最后,如果你还没听说过 Papers With Code,下面是传送门:
https://paperswithcode.com/