首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

PyTorch要火!Andrej Karpathy更新机器学习趋势窥探

作者:Andrej Karpathy

编译:Bot

编者按:“趋势”表现了事物发展的动向,它的目标可以是模糊的,但这种持续的前进反映到数据上是明确的。去年4月,特斯拉AI总监Andrej Karpathy发表了一篇A Peek at Trends in Machine Learning,揭示了机器学习论文总数(arxiv)、深度学习框架、CNN模型、优化算法及研究人员的发展趋势。而就在几天前,他又更新了一波数据,并从中看到了一种非常有趣的变化。

注:本文已更新论文总数与流行框架排名,其余内容仍为2017年4月数据。

好像少了点啥

不知道各位读者有没有用过Google Trends,这是一个很cool的工具——输入关键词,你就能查看相应Google搜索结果随时间发生的变化。而现在,我们也已经有了一个机器学习论文库arxiv-sanity,它在过去6年内积累了43108篇(arxiv)相关论文,所以我们为什么不落落俗套,也来看看6年来机器学习研究的演变情况呢?

注:该论文库由Andrej Karpathy创建,由于机器学习涉及内容过广,文中很大一部分都围绕深度学习展开,尤其是Andrej Karpathy熟悉的领域。

arxiv奇点

首先我们先来看看arxiv-sanity上的论文总数(cs.AI,cs.LG,cs.CV,cs.CL,cs.NE,stat.ML)。截至去年4月,arxiv-sanity共收录28303篇机器学习论文,其中仅在2017年3月,数据库就突增近2000份新论文,机器学习学术成果迎来爆发期。

arxiv上ML论文提交量变化

而就在短短一年后,arxiv-sanity上的论文总数已经突破43000篇,考虑到近年来机器学习国际顶会的热门程度,我们先来看看几个主要会议(去年4月后)的“吸金”能力:

虽然参与会议投稿的论文未必都会提交给arxiv,但可以看出,2017年以前,arxiv-sanity上收录的论文总量尚不足3万篇,而去年光这几个会议就吸引了近2万篇投稿,另外还有其他的顶会数据未计入其中,机器学习的热度可见一斑。

当然,这也带来了一个问题,就是学者需要通过阅读大量论文才能从中筛选出真正有价值的内容,这也是许多人开始诟病顶会“灌水”严重的一个要因。但本文只关注发展趋势,因此这些论文总数将作为分母,用来分析一些有趣的关键词“现象”。

深度学习框架

谈及机器学习,一个不可避免的热门关键词是深度学习框架,那么学术界更偏好哪种框架呢?我们汇总了去年和今年的统计结果,请结合表格对比感受:

需要注意的是,这里我们的分母是统计的论文总数,以2017年3月为例,TensorFlow(9.1%)指在去年3月投到arxiv的机器学习论文中,有将近10%提到了TensorFlow,当然这也意味着该月的大多数论文并没有介绍自己使用的框架。但如果我们假设论文指出使用框架的现象遵循某种固定的随机概率,那么经过粗略估计,我们可以猜测大约有40%的实验室正在使用TensorFlow。而今年2月TensorFlow的比例提升到了14.3%,再算上把TF作为后端的各类框架,毫无疑问,TensorFlow确实是大多数学术界人士的首选框架。

而Caffe和Theano由于“历史悠久”,已经积累了数量可观的老用户和论文基础,因此它们的占比仍然很突出。

2017年4月前各框架发展情况

为了更直观地感受各框架的发展趋势,我们来看看去年和今年的这两幅图。上图中紫色的Caffe和深蓝色的Theano在很长一段时间内深受学界欢迎,而绿色的TensorFlow在2016年异军突起,只用一年时间就超越了“前辈”,增长势头显著。当时Andrej Karpathy曾预测Caffe和Theano的市场占有率会缓慢下降,同时TensorFlow的增长也会减缓,他更看好当时几乎没有存在感的PyTorch。

2018年3月前各框架发展情况

果不其然,最近的这幅统计图显示,粉色的TensorFlow经历了两年增长,至2017年年末开始趋向平稳,而Caffe和Theano的曲线几乎同步下降,后者的占有率已跌至第五位,还在第二位苦苦挣扎的Caffe也被“后起之秀”Keras和PyTorch赶上。其中最亮眼的是PyTorch,这个在2017年3月不足0.2%的框架到2018年2月已经达到4.7%,考虑到近年来论文的爆炸式增长,PyTorch前景可期,拿原twitter下的留言来说,就是:

PyTorch is on fire! ( PyTorch要火!)

CNN模型

CNN最初是为解决图像识别等问题设计的,当然其现在的应用不仅限于图像和视频,也可用于时间序列信号,比如音频信号、文本数据等。在处理上述这些问题时,除了特殊情况,通常我们不会从头新建一个CNN,而是在已有模型的基础上调整参数。那么,哪个是最受欢迎的CNN模型呢?Andrej Karpathy没有更新模型的相关数据,所以我们仍以去年的数据为准。

CNN有四大经典模型:AlexNet、VGGNet、Google Inception Net和ResNet。从上图我们可以看到,在关于AlexNet的论文开始大量出现前,Inception在较长时间内一枝独秀,2014年年末,AlexNet迎来快速增长,并长期稳定在高水平位置。而就在一年后,ResNet也迎来爆发期,到2017年3月占比9%,跃升至第一位。

优化算法

就优化算法而言,Adam是毫无疑问的“掌门人”。截至去年4月,约23%的机器学习论文都提到了它。当然我们很难估计它的实际使用占比:它可能高于23%,因为一些论文没有介绍使用的优化算法,其中的大部分甚至根本没有提及神经网络优化;它也可能需要在23%的基础上减去5%,因为这个关键词不是手动提取的,所以不排除论文里的Adam其实是个人名,而且作为一个优化算法,Adam的提出时间是2014年12月。

研究人员

虽然现在大家对Deep Learning热情高涨,业界也有大量被追捧的专家偶像,但这些偶像真的适合每个人吗?你追的偶像是不是真正的专家?从论文实际引用情况来看,哪些人的论文“含金量”更高?Andrej Karpathy也用数据给了我们一点启示。

上文中由上往下的四个人分别是Bengio、Lecun、Hinton、Schmidhuber,他们是业内公认的对深度学习贡献最大的四名活跃学者。可以发现,Bengio在论文中的出现次数和Hinton齐头并进,以35%位列首位,而Hinton则以30%排名第二。但考虑到Yoshua Bengio的弟弟Samy同样在机器学习领域有不错的成就,35%这个占比含有一定水分。

另外需要提的一位是LSTM之父Jürgen Schmidhuber,他的论文引用量也颇为可观。Schmidhuber现任瑞士人工智能实验室主管,因为喜欢自己独立研究,可能国内对他的关注度不高,但这不妨碍业界对他的肯定。这里介绍一篇他的新作One Big Net For Everything,除了标题看得让人害怕,引用的文献都有将近一半是他参与写的,感兴趣的读者可以参考着体会下大神的脑回路。

热门/冷门的关键词

Andrej Karpathy同样爬取了论文中的一些关键词,并观察了它们的热度情况。

以上数值是这样计算的:以resnet为例,2016年3月前它的出现频率只有1.044%,而它在2017年3月的出现频率是8.53%,因此它的热度增长为8.53/1.044〜=8.17。这样对比下来,去年最热门的论文关键词依次是ResNets、GANs、Adam、BatchNorm,而最受欢迎的研究领域则是风格迁移、深度强化学习、神经机器翻译、图像生成,热门架构的排名则是FCN、LSTM/GRU、连体网络和编码-解码网络。

另外,一些关键词也被研究人员们“无情”地抛进了角落。虽然不清楚排名第一的fractal具体指什么,但估计是贝叶斯参数那一块的内容。

小结

看完全文,你的“将基于全卷积编码-解码批规范化架构、经Adam优化处理的ResNet GAN用于风格迁移”这篇论文准备得怎么样了(英文名字都帮你想好了,就叫Fully Convolutional Encoder Decoder BatchNorm ResNet GAN applied to Style Transfer, optimized with Adam),这个选题听起来也不怎么离谱嘛:)

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180312A1M4U900?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券