除了使用验证数据来调优超参数之外,将验证数据包含到模型中还有其他好处吗?
我所读到的就是它被用来调优超参数和检查是否过分合适。过拟合的检查是否与调优超参数分开?
培训:调整参数(权重和偏差)验证:优化超参数测试:评估模型
那么,如果我们不调优超参数,那么验证集就没有意义了?
发布于 2020-02-28 20:33:26
验证集的全部思想是,模型不知道这些数据,因此您可以得到模型性能的无偏评估。然后,基于这种无偏估计,您找到了模型的最佳参数。问题是,找到超参数本身就是训练模型的一种方法。因此,通过优化的超参数,模型开始适应于验证集。这就是为什么要检查模型的真实准确性,您实际上需要一个不同的数据部分,这是您的模型从未见过的。这是数据的测试部分。
因此,在您的情况下,当您没有任何超参数,您可以只使用部门的火车和测试。
如果您想要更高的精度估计您的模型的准确性,这是最好使用交叉验证,而不是仅仅在列车和测试的划分。神经网络通常不进行完全交叉验证,因为它意味着要增加几倍的计算时间(5倍交叉验证)。
对于超参数,理想的方法是进行双交叉验证。一个用于验证集,另一个用于测试集。这是太昂贵的计算,所以它只用于非常简单的模型,如岭回归。
据我所知,也很少有模型没有超参数。通常,那些没有超参数的人比那些有超参数的人表现差。岭回归往往优于线性回归。具有可变层数的神经网络性能优于全自动神经网络。
https://datascience.stackexchange.com/questions/68882
复制相似问题