作者 | 鸽子
随着深度学习在各行各业的应用日趋成熟,应用范围越来越多元,AI工程师也开始头疼起来:
数据量越来越多,需要应对的场景越来越细分,模型的训练求越来越复杂,因此,耗在上面的时间也越来越长。
有没有一些前沿的研究,能大大缩短工程师在模型训练上的时间呢?
有!
近日,Facebook人工智能实验室就提出了一种新方法,称其能大幅度减少机器视觉任务的模型训练时间,只要1个小时,就能训练完如ImageNet这样的超大规模数据集。
不过,准确来说,Facebook提出的这套方法,其实解决的是图像小批量(mini-batch)的大小的问题。
一般来讲,在模型训练中,介于目前的条件,批大小(batchSize)是有限制的,通常一次为256张图片,最多一次不能超过1024张图片,太大则会影响精度。
“我们日常在训练模型时,如果扩大batchSize,掉点就会很多,影响训练的精度,因为模型不收敛。”一位在国内从事多年深度学习的Y先生告诉AI100。
而如今Facebook的这套方法,妙就妙在,可以让批大小大大提升,至一次8192张图片,还不影响精度。
在保持精度的情况下,能将批大小大幅提高,这样直接带来的好处就是,系统就可以采用更多GPU来并行计算。而GPU数量的增多,将直接带来训练时间的大幅降低。
“以往在批大小不超过1024张图片的情况下,不能同时有很多GPU并行,32块就到头了,现在这套方法, GPU扩展到256块也没问题。以前原本要花一个星期的训练时间,现在一天就够了。”另一位接受AI100采访G先生兴奋地说到。
多名接受采访地行业技术大牛均表示,Facebook此举是干了一件所有人都想干,却一直没能干出来的大好事,这项技术很快会在各大公司应用开来。
“谁都不缺钱,缺的是时间,这个对于国内做深度学习的初创公司来说,意义简直太重大了。这绝对是件让整个行业拍手称快的兴奋事儿啊。”技术大牛纷纷终于等到这一天。
想要更加深入地了解Facebook的新技术,请查看该论文的具体内容。
论文地址: https://research.fb.com/publications/ImageNet1kIn1h/