问偏差-方差权衡与模型评估

EN

假设我们已经训练了一个模型(由它的超参数定义)，并使用某种性能度量(比如R^2)在测试集上对它进行了评估。如果我们现在在不同的训练数据上训练相同的模型(由它的超参数定义)，我们将得到(可能) R^2的不同值。

如果R^2依赖于训练集，那么我们将获得R^2平均值附近的正态分布。因此，为了更好地了解模型的性能，不应该将各种评估中的R^2平均化吗？另外，为什么在报告模型差异的性能时不包括？这不也是评估模型性能的一个重要因素吗？

我说的不是超参数调优。我假设我们知道超参数的最佳值，我们需要估计泛化误差。我的问题是，我们只是在测试集上评估一次。