我正在运行一个简单的角角深度学习,我将培训一次,然后再培训每个月,因为新的数据变得可用。
我的数据是由货币值组成的,所以我将首先使用StandardScaler()对我的数据进行标准化,但是一旦新的数据出现,我想重新训练,我可以使用相同的StandardScaler对象吗?因为让我们假设新数据的最大数据点高于我当前的最大值,因此会改变整个数据集的标准化。
我应该重新标准化,还是可以对新数据使用同样的标准化?
发布于 2021-06-09 14:39:52
根据我从您的问题中了解到的,当您使用新的培训数据时,输入数据将与用于计算标准化参数的数据不同。
在这种情况下,新的数据输入可能超出了标准化数据的值范围。
但是为了有一个好的预测模型,训练数据和未来的数据需要有密切的分布,否则,您的模型将不能像预期的那样工作。
所以我认为最好是重新标准化你的训练数据。并确保对独立于验证集的培训进行标准化,即使用与验证集一起的培训集中的平均值,而不是从验证集中使用平均值:
scaled_train = (train - train_mean) / train_std_deviation
scaled_test = (test - train_mean) / train_std_deviation
https://stackoverflow.com/questions/67898749
复制相似问题