理解Keras中的正则化
理解Keras中的正则化
提问于 2018-06-02 03:18:46
我试图理解为什么Keras中的正则化语法看起来是这样的。
粗略地说，正则化是通过向损失函数添加与模型权重的某个函数成比例的惩罚项来减少过拟合的方法。因此，我希望正则化将被定义为模型损失函数规范的一部分。
然而，在Keras中，正则化是在每个层的基础上定义的。例如，考虑以下正则化DNN模型：
input = Input(name='the_input', shape=(None, input_shape))
x = Dense(units = 250, activation='tanh', name='dense_1', kernel_regularizer=l2, bias_regularizer=l2, activity_regularizer=l2)(x)
x = Dense(units = 28, name='dense_2',kernel_regularizer=l2, bias_regularizer=l2, activity_regularizer=l2)(x)
y_pred = Activation('softmax', name='softmax')(x)
mymodel= Model(inputs=input, outputs=y_pred)
mymodel.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'])我本以为密集层中的正则化参数是不需要的，我可以只写最后一行更像这样：
mymodel.compile(optimizer = 'adam', loss = 'categorical_crossentropy', metrics = ['accuracy'], regularization='l2')这显然是错误的语法，但我希望有人能为我详细解释一下为什么以这种方式定义正则化，以及当我使用层级正则化时实际发生了什么。
我不理解的另一件事是在什么情况下我应该使用这三个正则化选项中的每一个或全部：(kernel_regularizer, activity_regularizer, bias_regularizer)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50649831
复制相关文章
相似问题
腾讯云开发者
