在生产流水线中使用超参数调优是一个很好的实践吗？
在生产流水线中使用超参数调优是一个很好的实践吗？
提问于 2022-02-23 06:40:00
我正在学习扩展的TensorFlow，我可以看到它的训练管道包括一个用于超参数调优的"Tuner“组件。因此，我想知道在生产管道的情况下，包含调优是否是一个很好的实践(在大多数情况下，这是通过额外的新培训实例不时迭代地调用的)。我可以看到三种可能性：
- 在生产前进行单独的超参数调优实验，而在生产管道中不进行调优(这是我以前经常使用的)。
- 没有初始调谐-实验，但让TFX一直这样做(这似乎支持TFX)
- 混合物的一些因素:在最初的单独实验中看到某种程度的调优，但在生产中仍然对其他参数进行调优。
第二种方法的问题是，超参数调谐器通常不适合检查所有可能的组件(例如，层数)，而且无论如何，有些超参数在搜索中往往是稳定的，那么为什么每次训练运行时都要搜索这些呢？
回答 1
Data Science用户
发布于 2022-02-23 07:02:49
超参数调整可以帮助模型找到最佳参数，从而给出最优结果。如果您正在部署模型，则应该只在培训过程中进行超参数调整，而不是在生产管道中进行。
但是，如果您将模型再培训作为生产管道的一部分，则应该进行超参数优化以获得最佳效果。
第二种方法是关于如何优化超级参数调优，因为这是一项非常需要计算的任务。
1. Stepwise Hyperparameter tuning to reduce the number of iteration required for example for randomforest first find the optimal depth and fix it in next step.
2. Instead of grid Search use a smart hyperparam tuning like optuna ,hyperopt to reduce the time taken.
3. If you know some of the best hyperparam and know they are stable you dont need to tune those.页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/108451
复制相关文章
相似问题
腾讯云开发者
