胜者为王！DeepMind新算法助Waymo加速模型训练

新智元原创

【新智元导读】DeepMind和Waymo宣布将合作开发受进化生物学启发的技术，以提高对AI算法训练的有效性和效率，原因是用于无人驾驶的AI模型通常需要无限的测试和微调，不断试验进行提升，DeepMind设计了一款基于进化的方法PBT，可像生物进化一样自动竞争继承，极大提高了训练的有效性和效率。

相比特斯拉，Waymo在商业化的道路上一直没有太大的建树，始终徘徊在凤凰城的结界中，未能走向更广阔的天地。

去年，Waymo CEO John Krafcik曾公开吐槽自动驾驶无法达到L5级，距离真正意义上的“消费级”应用任重而道远。场面一度引发极大反响，同时也引来了大批的反对声浪。

尽管前路艰辛，但商业化的步伐不能停下。Waymo在商业化上迈出的一大步，是自动驾驶出租车。Waymo在凤凰城经过6个月7x24小时的运营，乘客数量突破了1000人，平均一天载客不到6个人。

上个月，Waymo改装的捷豹电动车进行了上路测试。Waymo和捷豹在合作协议中敲定，在接下来的2年时间投放20000辆I-Pace，继续扩大自动驾驶出租车业务。

而DeepMind一直专心打围棋、打夺旗、打星际…以至于提到DeepMind，很多人第一反应是“就那个打败职业星际玩家的那个”。回忆过去，好像DeepMind也没干啥“正事”，光跟游戏较劲了。

硬件的性能和成本已经可以满足自动驾驶的一部分需求，适用于自动驾驶的传统传感器的性能还在不断提高；摄像头+雷达+声波等传感器组合套装，成本也在不断降低。

但自动驾驶并非单纯依赖硬件就能实现，在算法方面还有极大地提升空间。

神经网络的性能受训练方案的影响非常大。我们的目标就是找到最优学习率、让神经网络在每次迭代后变得更好，但性能波动不需要太大。

Waymo之前的方式是采用人工微调的方式。这项工作对人员的要求不低，需要丰富的经验，以及耐心和细心。这种不断试错的方式虽然效果好，但非常耗费时间、精力和资源。

如今，DeepMind和Waymo，两个谷歌旗下的公司，终于开始联手搞事情了。

Mission 1：提高调参效率，降低人员工作量

DeepMind此次伸出援手，需要帮助Waymo在算法上解决掉一切阻碍。第一步，就是提高微调的效率，降低研究人员的工作量。

为此，DeepMind设计了一种基于进化竞争（Population Based Training）的自动优化超参数的方法。

这种方式（后续我们简称其为PBT）将手动调参和随机搜索的有点结合在一起，定期评估模型。

模型之间依照丛林法则开始相互竞争，胜者为王并产生一些略有突变的超参数“后代”。长江后浪推前浪，前浪死在竞争中，最终推动模型的进化。

PBT模型能够提升效率很重要的一点是，它不需要从头开始重新训练。每个胜者的后代都遗传了父辈的最佳状态，并且产生新的突变超参数。

但这样一直处于竞争状态会导致模型过度短视，眼光不能放长远，更倾向于当前结果而忽视了长期效应。

DeepMind采取的解决方式是增加种族多样性。通过创建足够多的称为利基（niches）的子种族，将能够保证模型可以持续的进化，让那些缺乏爆发力却有后期优势的种族也能有机会成为胜者。

初步效果

实验取得了不错的进展，PBT算法不仅实现了更高的精度，并且减少24%的误报、保持了较高的召回率。

同时，PBT还节省了时间和资源。通过PBT训练的网络，时间和资源只有原来的一半。因此Waymo声称，已将PBT直接纳入其技术基础架构。24%的误报，同时也能保持较高的召回率。

此外，PBT所需的训练时间和计算资源仅为原来的一半。根据Waymo的说法， PBT已被直接纳入Waymo的技术基础架构。

DeepMind此次伸出援手，需要帮助Waymo在算法上解决掉一切阻碍。而如果两个部门能打一个漂亮的配合战，显然对今后的士气、整个市场的预期、大众的接受度，都将有极大的提升。