Python 模型超参数调优

1. 导读

本文将对超参数进行简要的解释，并推荐一本利用Python进行超参数调整的书籍，其中包含了许多超参数调整的方法，对于刚刚学习深度学习的小伙伴来说，是一个不错的选择。

2. 超参数

在机器学习的上下文中，超参数[1]是在开始学习过程之前设置的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

超参数的一些示例：

• 树的数量或树的深度
• 矩阵分解中潜在因素的数量
• 学习率（多种模式）
• 深层神经网络隐藏层数
• k均值聚类中的簇数

超参数的调整，对于提升模型的相关性能有一定的作用。

3. 书

封面

超参数是构建有用的机器学习模型的重要元素。本书为 Python 超参数调整方法[2]（机器学习最流行的编码语言之一）。除了深入解释每种方法的工作原理外，还将使用决策图来帮助确定满足需求的最佳调整方法。

这本书涵盖了以下令人兴奋的功能：

• 发现超参数空间和超参数分布类型
• 探索手动、网格和随机搜索，以及每种搜索的优缺点
• 了解强大的失败者方法以及最佳实践
• 探索流行算法的超参数
• 了解如何在不同的框架和库中调整超参数
• 深入了解 Scikit、Hyperopt、Optuna、NNI 和 DEAP 等顶级框架
• 掌握可立即应用于机器学习模型的最佳实践

实战

目前该书籍的Github仓库已有70Star，正在持续增长。

Github仓库

本书还在Github[3]中提供了许多实例，用于查看书中提到的所有示例的结果。

参考资料

[1]

超参数: https://baike.baidu.com/item/%E8%B6%85%E5%8F%82%E6%95%B0/3101858

[2]

书: https://www.packtpub.com/product/hyperparameter-tuning-with-python

[3]

Github: https://github.com/PacktPublishing/Hyperparameter-Tuning-with-Python