我有一个有两个相似分支的多任务网络和一个只有一个分支的预先训练过的网络(这也是一样的)。我想初始化两个分支中的层的权重(在我的多任务网络中)和在我的预先训练的网络中的层的权重。
现在,我可以正确地初始化一个分支,方法是使用与预先训练过的网络中相同的层名。但是,我必须在另一个分支中保持不同的层名,这样这些层就不会接受预先训练过的重量。
另外,我也不想在这两根树枝上分担重量。因此,给两个分支中对应层中的权重取相同的名称是行不通的。
有什么好办法/黑客可以这样做吗?
PS:我想避免网络手术,但是任何解释它的好方法的评论,也是欢迎的。
说明:我只想用相同的权重初始化这两个分支。在训练阶段,他们可以学习不同的权重,因为他们受到不同的损失层的支配。
发布于 2017-01-10 19:57:41
Przemak的回答是一个不错的黑客做上述工作。
以上是一个不错的黑客,但网络手术是一个更好的方式来做到这一点。
https://stackoverflow.com/questions/41512790
复制相似问题