1月论文推荐：Hyper-Tune 满足大规模高效分布式自动超参数调整的 SOTA 架构

为了提高机器学习应用程序的效率和质量，工业规模机器学习模型不断增加的复杂性刺激了对自动超参数调整方法的研究， 尽管自动超参数调整现是许多数据系统的重要组成部分，但最先进方法的有限可扩展性已成为瓶颈。

为了解决这个问题，北京大学、苏黎世联邦理工学院和快手科技的研究团队提出了 Hyper-Tune，这是一种高效、健壮的分布式超参数调优框架，具有自动资源分配、异步调度和多保真优化器等系统优化插件。在评估中，Hyper-Tune 在广泛的调优任务中实现了最先进的性能。

论文将他们的主要贡献总结为：

• 我们提出了 Hyper-Tune，一种高效的分布式自动超参数调整框架。
• 我们对公开可用的基准数据集和生产中的大规模真实世界数据集进行了广泛的实证评估。

Hyper-Tune 框架包含三个核心组件：资源分配器、评估调度器和通用优化器。

为了自动确定适当的资源分配水平并平衡部分评估中的“精度与成本”权衡，研究人员使用了一种简单而新颖的资源分配方法，通过反复试验来寻找良好的分配。

评估调度程序可以通过 D-ASHA 来利用并行资源——这是 Li at 引入的 ASHA（Asynchronous Successive Halving Algorithm)）超参数优化算法的一种新的变体，可以同时满足同步效率和采样效率。

采用了模块化设计，可以使用不同的超参数调整优化器插件，这样可以支持在异步/同步并行设置下直接替换不同的优化器。他们还采用了与算法无关的采样框架，以使每个优化器算法能够轻松适应异步并行场景。

通过公开可用的基准数据集和大规模真实世界数据集的评估实验， Hyper-Tune 框架实现了强大的随时收敛性能，并在超参数调整场景中超越了最先进的方法，其中包括具有九个超参数的 XGBoost ，六个超参数的 ResNet，九个超参数的 LSTM。与最先进的方法 BOHB 和 A-BOHB 相比，Hyper-Tune 还分别实现了高达 11.2 倍和 5.1 倍的加速。

论文 Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale 可以在 arXiv 上下载

https://arxiv.org/abs/2201.06834