重磅｜Facebook放大招，训练时间1周降至1天，AI工程师高呼终于等到这一天

作者 | 鸽子

随着深度学习在各行各业的应用日趋成熟，应用范围越来越多元，AI工程师也开始头疼起来：

数据量越来越多，需要应对的场景越来越细分，模型的训练求越来越复杂，因此，耗在上面的时间也越来越长。

有没有一些前沿的研究，能大大缩短工程师在模型训练上的时间呢？

有！

近日，Facebook人工智能实验室就提出了一种新方法，称其能大幅度减少机器视觉任务的模型训练时间，只要1个小时，就能训练完如ImageNet这样的超大规模数据集。

不过，准确来说，Facebook提出的这套方法，其实解决的是图像小批量（mini-batch）的大小的问题。

一般来讲，在模型训练中，介于目前的条件，批大小（batchSize）是有限制的，通常一次为256张图片，最多一次不能超过1024张图片，太大则会影响精度。

“我们日常在训练模型时，如果扩大batchSize，掉点就会很多，影响训练的精度，因为模型不收敛。”一位在国内从事多年深度学习的Y先生告诉AI100。

而如今Facebook的这套方法，妙就妙在，可以让批大小大大提升，至一次8192张图片，还不影响精度。

在保持精度的情况下，能将批大小大幅提高，这样直接带来的好处就是，系统就可以采用更多GPU来并行计算。而GPU数量的增多，将直接带来训练时间的大幅降低。

“以往在批大小不超过1024张图片的情况下，不能同时有很多GPU并行，32块就到头了，现在这套方法， GPU扩展到256块也没问题。以前原本要花一个星期的训练时间，现在一天就够了。”另一位接受AI100采访G先生兴奋地说到。

多名接受采访地行业技术大牛均表示，Facebook此举是干了一件所有人都想干，却一直没能干出来的大好事，这项技术很快会在各大公司应用开来。

“谁都不缺钱，缺的是时间，这个对于国内做深度学习的初创公司来说，意义简直太重大了。这绝对是件让整个行业拍手称快的兴奋事儿啊。”技术大牛纷纷终于等到这一天。

想要更加深入地了解Facebook的新技术，请查看该论文的具体内容。

论文地址： https://research.fb.com/publications/ImageNet1kIn1h/