重磅|Facebook放大招,训练时间1周降至1天,AI工程师高呼终于等到这一天

作者 | 鸽子

随着深度学习在各行各业的应用日趋成熟,应用范围越来越多元,AI工程师也开始头疼起来:

数据量越来越多,需要应对的场景越来越细分,模型的训练求越来越复杂,因此,耗在上面的时间也越来越长。

有没有一些前沿的研究,能大大缩短工程师在模型训练上的时间呢?

有!

近日,Facebook人工智能实验室就提出了一种新方法,称其能大幅度减少机器视觉任务的模型训练时间,只要1个小时,就能训练完如ImageNet这样的超大规模数据集。

不过,准确来说,Facebook提出的这套方法,其实解决的是图像小批量(mini-batch)的大小的问题。

一般来讲,在模型训练中,介于目前的条件,批大小(batchSize)是有限制的,通常一次为256张图片,最多一次不能超过1024张图片,太大则会影响精度。

“我们日常在训练模型时,如果扩大batchSize,掉点就会很多,影响训练的精度,因为模型不收敛。”一位在国内从事多年深度学习的Y先生告诉AI100。

而如今Facebook的这套方法,妙就妙在,可以让批大小大大提升,至一次8192张图片,还不影响精度。

在保持精度的情况下,能将批大小大幅提高,这样直接带来的好处就是,系统就可以采用更多GPU来并行计算。而GPU数量的增多,将直接带来训练时间的大幅降低。

“以往在批大小不超过1024张图片的情况下,不能同时有很多GPU并行,32块就到头了,现在这套方法, GPU扩展到256块也没问题。以前原本要花一个星期的训练时间,现在一天就够了。”另一位接受AI100采访G先生兴奋地说到。

多名接受采访地行业技术大牛均表示,Facebook此举是干了一件所有人都想干,却一直没能干出来的大好事,这项技术很快会在各大公司应用开来。

“谁都不缺钱,缺的是时间,这个对于国内做深度学习的初创公司来说,意义简直太重大了。这绝对是件让整个行业拍手称快的兴奋事儿啊。”技术大牛纷纷终于等到这一天。

想要更加深入地了解Facebook的新技术,请查看该论文的具体内容。

论文地址: https://research.fb.com/publications/ImageNet1kIn1h/

原文发布于微信公众号 - AI科技大本营(rgznai100)

原文发表时间:2017-06-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CVer

381页机器学习数学基础PDF下载

【导读】近期,由Marc Peter Deisenroth,A Aldo Faisal和Cheng Soon Ong撰写的《机器学习数学基础》“Mathemat...

1673
来自专栏灯塔大数据

如何区分人工智能、机器学习与深度学习?

现在科技行业的术语产生速度令人惊愕,几乎每天都有新名词被创造出来。最近一段时间人们讨论最多的莫过于人工智能、机器学习和深度学习了。 很多公司已经果断采取措施,...

4316
来自专栏大数据文摘

职场 | 如何让你的数据直觉更敏锐

对于有大局意识的人来说,这无疑是一个很好的创业机会和职业选择。要想抓住职业机会,你需要超强的“码力”和深入的专业知识。

770
来自专栏应兆康的专栏

7. 开发集和测试集应该多大?

开发集应该足够大,大到可以检测出不同算法之间的差异。比如:如果分类器A的精度为90.0%,分类器B精度为90.1%。如果你的开发集只有100条,那么你可能检测不...

3477
来自专栏AI科技评论

技术大牛带你走向机器学习“正道”:小朋友才迷信算法,大人们更重视工程实践

AI科技评论按:“算法”这两字在人工智能圈已然成为“高大上”的代名词,由于不少在校生和职场新人对它过度迷恋,多名 AI 资深人士均对这一现象表示担忧。李开复曾这...

3473
来自专栏AI科技评论

Yann LeCun演讲图文:如何让AI学习常识,AI未来趋势又在何方 | GMIC 2018

人工智能作为一个发展中的技术,其实还在演进的过程当中,有所能为,有所不能为,因此还有很多亟待解决的问题

1033
来自专栏机器之心

机器学习中的数学,这是一份新鲜出炉的热门草稿

作者:Marc Peter Deisenroth、A Aldo Faisal、Cheng Soon Ong

1244
来自专栏奇点大数据

2018年度人工智能技术趋势

“人工智能”一词最初是在1956 年Dartmouth学会上提出的。人工智能(Artificial Intelligence),英文缩写为AI,是研究、开发用于...

1072
来自专栏猿人谷

如何招聘程序猿?

同步分布:http://www.yuanrengu.com/index.php/20170314.html

21511
来自专栏企鹅号快讯

哪种芯片架构将成为人工智能时代的开路先锋

【IT168 评论】如果用刀来比喻芯片,通用处理器好比一把瑞士军刀,人工智能时代好比要拿刀来切肉,瑞士军刀可以拿来用,但它并非是为切肉设计的,所以效果并非最好。...

2016

扫码关注云+社区