Uber的合成训练数据将深度学习的速度提升了9倍

Uber人工智能实验室开发了一种名为生成式教学网络（GTN）的算法，该算法为神经网络生成合成训练数据，使得神经网络的训练速度比使用真实数据时更快。利用这些合成数据，Uber将其神经结构搜索（NAS）深度学习优化过程提升了9倍。

在arXiv上发表的一篇论文中，该团队描述了这个系统和一系列的实验。GTN的动机来自神经结构搜索（NAS）问题，它训练许多不同的深度学习模型结构，并针对一组测试数据选择表现最好的一个。虽然一种典型的方法是在完整的数据集上通过多次迭代（或epoch）训练每个模型，但这既耗时又昂贵。不过，模型可以在GTN的合成数据上进行训练，耗时更短，并且可以对其在真实训练数据上的真实表现进行估计；这样可以快速地对模型进行评估，缩短了搜索时间。据研究人员称：

GTN-神经结构搜索（GTN-NAS）堪比目前最先进的NAS方法，这些方法的表现最好，并且计算量比典型的NAS方法少几个数量级。

神经结构搜索是自动机器学习（AutoML）中一个活跃的研究领域。NAS有一个缺点，它需要训练许多深度学习模型来确定哪个模型表现得最好。该研究主要侧重于高效探索搜索空间，这意味着该系统将训练更少的模型。Uber的系统生成了一个新数据集，使得每个模型迭代训练的次数更少，这样，系统就可以在相同的时间内试验更多的模型。

通过较少的迭代训练模型存在的问题是，在非常早期的训练阶段，大多数模型的性能都很差，需要多次迭代来确定模型的真实性能。不过，研究表明，并不是所有的训练样本都这样，仔细选择输入样本可以加快训练速度。Uber的想法是使用元学习来生成训练样本。与生成对抗网络（GAN）类似，Uber的GTN会训练一个生成器神经网络，为学习者网络生成训练样本。学习者根据真实的测试数据进行评估，生成“元损失”，并用元损失的梯度更新生成器。利用这项技术，Uber创建了一个生成器，生成用于训练计算机视觉（CV）系统识别MNIST数据集中的数字的样本。CV系统只需32个训练步骤就能达到98.9%的准确率。Uber表示，在CIFAR10数据集上的一个类似实验中，他们使用合成数据通过128步就可以预测模型性能，而使用真实数据需要1200步，速度提高了9倍。

论文的共同作者Jeff Clune在推特上发了一张由该系统生成的合成图像数据的图片，并将其描述为“另类的、不现实的”。他还说：

在神经结构搜索中，GTN生成的数据完全可以替代真实数据，这样可以极大地加快任何NAS算法的速度。到目前为止，我们只展示了随机搜索-NAS（加上一些花哨的功能），但是我们希望看到其他人尝试下其他更高级的NAS方法！

原文链接：

Uber’s Synthetic Training Data Speeds Up Deep Learning by 9x