问如何避免ML中的多参数调优？

EN

一个好的超参数可以看作是一个具有一定变化的随机变量。我不会太担心找不到一个特定测试集的最佳参数。如果您确信某些参数应该有多个值，我将尝试不对所有测试集进行测试，而是使用一些步骤。请考虑，交叉验证“污染”您的评估。您肯定会在用于cv的数据上获得更乐观的度量评分。

想象一下，你有100倍的测试。您可以使用它们中的前10个用于cv，然后用前面步骤得到的最佳模型和超参数来评估接下来的10个测试n倍。这10倍会给你更现实的分数。然后重复捆绑(10 cv折叠+ 10评估折叠)。

另外，如果您确实使用了大小为2的测试集，那么您对超参数的估计可能会有太大的变化。你可以把它和更大的测试折叠尺寸进行比较。

自动化的超参数调整可以通过像PyGAD这样的遗传算法来完成。它将自动探索大量的随机场景，并得到最好的场景。

此外，您也不必完全应用学习过程:经过几次迭代或处理步骤之后，大多数学习过程都是完全相同的。

您可以寻找优化第一次迭代/步骤的方法，这需要更少的时间，然后通过测试几个完整的过程场景来检查超参数是否真的更好。

最后，计算能力也是至关重要的，您可以使用像纸空间这样的云服务来使用功能强大的GPU(如RTX5000 )来处理您的函数。