AI计算力6年增长30万倍,远超摩尔定律 | OpenAI分析报告

指数栗 编译 OpenAI 量子位 报道 | 公众号 QbitAI

众所周知,人工智能近年来发展迅猛,计算能力的提升功不可没。

为了感受这个速度,OpenAI发布了一份分析报告,说的是2012年开始,AI训练所用的计算量呈现指数增长,平均每3.43个月便会翻倍。

对比一下,摩尔定律的翻倍时间是18个月。从2012年到现在,计算量扩大了300,000倍。如果是周期是18个月,那只会扩大12倍。

看着计算力对AI发展的影响,如果按这个趋势发展下去,未来系统的能力可能会远远超过我们今天的想象。

对数表示

图表显示的是每只AI的计算量,以petaFLOPS-day (pfs-day) 为单位。一个pfs-day),是一天中每秒进行10^15次神经网络运算,或者说每天10^20次运算。

计算速度乘以时间,可以给人类一种比较直观的感受,就像千瓦时一样。

线性表示

注意一下,这些数据并不是硬件的理论峰值,而是估算实际进行了的运算次数。

每个加法,每个乘法,都看做一次运算,不论数值精度怎样 (这样看来,说是FLOP可能有些用词不当) 。另外,这份报告并没有考虑集成模型。

单个模型的计算量

AI的发展中有三个因素至关重要:算法革新数据 (可以是监督数据,也可以是交互式环境) ,以及训练可用的计算量

算法革新和数据这两项上的进展,都比较难追踪。相比之下,计算能力还是可以量化的,给了人们评估AI发展进程的一个方式。

系统完成大量计算的时候,常常会让算法中的一些短板暴露出来。不过,至少在许多现有领域,更大的计算量表现为更好的性能,也与算法的发展相辅相成。

报告认为,单个GPU的速度不是最有用的数字,最大数据中心的容量也没那么重要。相比,训练单个模型所需要的计算量,才是更好衡量标准,可以反映模型到底有多强大。

单个模型的计算量,和总计算量有很大的不同。因为并行性的限制,会影响模型的大小,以及它能够接受怎样的训练。

当然,即便没有那么大的计算量,也可以产生重大的突破。不过,这份报告只讨论了计算能力

运算速度呈现快速增长,一部分原因可能是,在GPU/TPU价格相同的情况下,定制硬件能够支持每秒更多次的运算。不过,主要原因可能还是研究人员一直在探索,让更多芯片并行的方法,且愿意为此投入大量资金。

两年就是一个时代

我们大概可以从图中看出四个不同的时期。

· 2012之前:GPU在机器学习里的应用还不多见,彼时取得成就相对艰难。

· 2012-2014:在许多GPU上训练的基础架构还很少,所以大多成就都是用1-8个GPU、1-2 TFLOPS的运算速度达成的,相当于0.001-0.1 pfs-day。

· 2014-2016:100-1000个GPU,速度在5-10 TFLOPS,结果是0.1-10 pfs-day。数据并行获得的收益越来越少,更大规模的训练价值有限。

· 2016-2017:出现了大批量处理、结构搜索、专家迭代 (EXIT) 等支持更强并行性的方法,还有TPU等专用硬件和更快的互联,冲破了局限。

AlphaGo是大规模并行算法最有名的栗子之一,不过很多规模相似的应用,现在在算法上都可行了,并且已经应用在生产环境里。

车要开得快,还是开得稳

分析认为,图中显示的增长趋势很可能持续下去

许多硬件领域的初创公司都在研发AI芯片,其中一部分还宣称,能够在未来1-2年内大幅提升FLOPS/Watt,即提升FLOPS/$。除此之外,重新配置硬件也可能为同样的运算速度降低成本

至于并行性,最近发生的许多算法革新,理论上都可以用“乘法”组合在一起——比如结构搜索和大规模并行SGD。

问题是成本可能抑制并行性的发展,芯片的效率也会受到物理方面的限制。但问题是可以解决的。

报告认为,虽然最大规模的训练所需的硬件,要花费数百万美元;不过,目前大多数神经网络计算都不在训练上,而在部署上。

这就是说,公司可以调整芯片的用途,或者有能力购买更多的芯片用于训练。

因此,如果能够刺激更多的资金投入,我们就可能看到更加庞大的并行训练,增长趋势也会持续更久。

这个世界的硬件总预算,达到了每年1万亿美元,所以成本上的压力都不是太强硬的挑战。

根据数据、指数增长的先例、机器学习专用硬件的发展以及经济因素,OpenAI认为短期内增长趋势还会继续。

以往趋势并不足以预测,正在发生的增长会持续多久,也不足以判断,增长过程中会发生什么。不过,就算只是一个合理假设,我们也有理由开始重视安全问题恶意使用问题了。

要制定政策,要负责任地发展科技,预见是非常重要的。

未雨绸缪,好过亡羊补牢。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-05-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

干货 | 从菜鸟到老司机 数据科学的 17 个必用数据集推荐

编者按:数据集可谓是数据科学的练兵场,不管是对菜鸟入门还是老司机上路,能找到一个好用的数据集无异于如虎添翼。以下是雷锋网整理编译的 17 个常用数据集,并列举了...

3984
来自专栏AI科技评论

视频 | 没有博士学位和顶会论文,我如何拿到DeepMind的offer?

AI 科技评论按:这里是,油管 Artificial Intelligence Education 专栏,原作者 Siraj Raval 授权雷锋字幕组编译。 ...

4427
来自专栏机器之心

专栏 | 微软亚洲研究院:NLP将迎来黄金十年

在 1998 年微软亚洲研究院成立之初,NLP 就被确定为最重要的研究领域之一。历经二十载春华秋实,在历届院长支持下,微软亚洲研究院在促进 NLP 的普及与发展...

1694
来自专栏大数据文摘

干货 | 从菜鸟到老司机,数据科学的 17 个必用数据集推荐

1603
来自专栏AI科技大本营的专栏

结构化数据上的机器学习大杀器XGBoost

XGBoost是一个机器学习算法工具,它的原理本身就并不难理解,而且你并不需要彻底搞懂背后的原理就能把它用得呼呼生风。 它的威力有多强? 自从2014年9月份在...

3219
来自专栏AI科技评论

中科院赵军:开放域事件抽取 | CCF-GAIR 2018

AI 科技评论按:2018 全球人工智能与机器人峰会(CCF-GAIR)在深圳召开,峰会由中国计算机学会(CCF)主办,雷锋网、香港中文大学(深圳)承办,得到了...

2664
来自专栏华章科技

干货 | 从菜鸟到老司机,数据科学的 17 个必用数据集推荐

数据集可谓是数据科学的练兵场,不管是对菜鸟入门还是老司机上路,能找到一个好用的数据集无异于如虎添翼。以下是雷锋网整理编译的 17 个常用数据集,并列举了适用的典...

781
来自专栏人工智能快报

谷歌科研人员提出单样本机器学习技术

在看到某个物体一到两次之后,我们大多数人都能认出来。但支持计算机视觉和语音识别功能的算法却需要接触数千个例子,才能对新的图像或词语变得熟悉。 现在,谷歌Deep...

2975
来自专栏人工智能头条

艺术与机器学习

1375
来自专栏新智元

【独家】前百度资深科学家夏粉创业研发中国版Auto ML,两轮融资估值4亿

---- 新智元报道 作者:张乾 【新智元导读】创建先进的机器学习模型既需要专业的技术人员,也非常耗时耗力,是企业在应用机器学习中的一大痛点。现在包括...

4156

扫码关注云+社区

领取腾讯云代金券