Uber的合成训练数据将深度学习的速度提升了9倍

Uber人工智能实验室开发了一种名为生成式教学网络(GTN)的算法,该算法为神经网络生成合成训练数据,使得神经网络的训练速度比使用真实数据时更快。利用这些合成数据,Uber将其神经结构搜索(NAS)深度学习优化过程提升了9倍。

在arXiv上发表的一篇论文中,该团队描述了这个系统和一系列的实验。GTN的动机来自神经结构搜索(NAS)问题,它训练许多不同的深度学习模型结构,并针对一组测试数据选择表现最好的一个。虽然一种典型的方法是在完整的数据集上通过多次迭代(或epoch)训练每个模型,但这既耗时又昂贵。不过,模型可以在GTN的合成数据上进行训练,耗时更短,并且可以对其在真实训练数据上的真实表现进行估计;这样可以快速地对模型进行评估,缩短了搜索时间。据研究人员称:

GTN-神经结构搜索(GTN-NAS)堪比目前最先进的NAS方法,这些方法的表现最好,并且计算量比典型的NAS方法少几个数量级。

神经结构搜索是自动机器学习(AutoML)中一个活跃的研究领域。NAS有一个缺点,它需要训练许多深度学习模型来确定哪个模型表现得最好。该研究主要侧重于高效探索搜索空间,这意味着该系统将训练更少的模型。Uber的系统生成了一个新数据集,使得每个模型迭代训练的次数更少,这样,系统就可以在相同的时间内试验更多的模型。

通过较少的迭代训练模型存在的问题是,在非常早期的训练阶段,大多数模型的性能都很差,需要多次迭代来确定模型的真实性能。不过,研究表明,并不是所有的训练样本都这样,仔细选择输入样本可以加快训练速度。Uber的想法是使用元学习来生成训练样本。与生成对抗网络(GAN)类似,Uber的GTN会训练一个生成器神经网络,为学习者网络生成训练样本。学习者根据真实的测试数据进行评估,生成“元损失”,并用元损失的梯度更新生成器。利用这项技术,Uber创建了一个生成器,生成用于训练计算机视觉(CV)系统识别MNIST数据集中的数字的样本。CV系统只需32个训练步骤就能达到98.9%的准确率。Uber表示,在CIFAR10数据集上的一个类似实验中,他们使用合成数据通过128步就可以预测模型性能,而使用真实数据需要1200步,速度提高了9倍。

论文的共同作者Jeff Clune在推特上发了一张由该系统生成的合成图像数据的图片,并将其描述为“另类的、不现实的”。他还说:

在神经结构搜索中,GTN生成的数据完全可以替代真实数据,这样可以极大地加快任何NAS算法的速度。到目前为止,我们只展示了随机搜索-NAS(加上一些花哨的功能),但是我们希望看到其他人尝试下其他更高级的NAS方法!

原文链接:

Uber’s Synthetic Training Data Speeds Up Deep Learning by 9x

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/JbNSKOw79vsqoHrUfpeg
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券