我想量化超参数搜索xgboost模型的计算成本。一种方法是使用特定的超参数配置来测量训练时间,并将其作为计算成本的代理。我们可以根据所选择的超参数的值来量化计算成本吗?例如,基于最大深度的解析表达式、估计量的数值、最小子体重、伽马等,或者你能提出一些其他方法来量化这个计算成本吗?我想要衡量的每一个特定的超参数选择的训练相同的数据集,什么将是模型的性能和计算成本!
发布于 2020-10-19 05:14:16
如果您手头有时间,您可以简单地测量网格搜索中所有超参数值组合所需的时间,最好是重复使用。任何理论分析表达式都不太可能为预测计算成本提供足够的准确性,因为有那么多因素会对计算时间造成噪音。
如果你愿意的话,你甚至可以建立一个回归模型来预测新的超参数组合的计算成本。
https://datascience.stackexchange.com/questions/84162
复制相似问题