听起来它给出了一个变量列表,这些变量与优化器的工作方式有关,我不应该担心这一点。但是,,我怀疑它也与我试图最小化的东西,以及我用来最小化的变量有关。这是真的吗?换句话说,在我的具有多个目标函数的NN中只使用一个优化器是否安全?或者我应该为每个目标函数实例化一个单独的优化器?
发布于 2019-06-05 08:55:48
通常,您只需使用一个优化器。
你把所有的损失加起来。
total_loss = loss1+loss2+lossN
如果你认为一个损失比另一个损失更大,你可以将它们相互权衡:
total_loss = 0.01*unimportant+regular+10.0*low_rare_and_important
不打算使用多个优化器。这可能会导致更高的内存消耗。不过,并不是严格禁止你拥有一个以上的。
https://stackoverflow.com/questions/56452695
复制相似问题