在超参数整定过程中,参数(在模型训练中已经学到的权重)是否也是优化的,或者它们是固定的,并且只为超参数找到了最优值?请解释一下。
发布于 2019-08-26 08:15:20
短是没有,它们不是固定的。
因为,超参数直接影响你的简单参数。因此,对于神经网络来说,隐层中没有一个是超参数,而每个层中的权重和偏差可以称为简单参数。当然,当网络的层数(超参数)本身是可变的时,不能使单个层的权重保持不变。类似地,在线性回归中,正则化超参数直接影响学习的权重。
因此,优化超参数的目标是获得一个值,从而得到这些简单参数的最佳集合。这些简单的参数是您真正关心的参数,也是用于最终预测/部署的参数。因此,调优超参数,同时保持它们的固定是毫无意义的。
https://stackoverflow.com/questions/57661188
复制