首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >使用预先培训过的网络(1个分支)来初始化在caffe中有2个分支的网络中的层权重

使用预先培训过的网络(1个分支)来初始化在caffe中有2个分支的网络中的层权重
EN

Stack Overflow用户
提问于 2017-01-06 19:19:00
回答 1查看 248关注 0票数 0

我有一个有两个相似分支的多任务网络和一个只有一个分支的预先训练过的网络(这也是一样的)。我想初始化两个分支中的层的权重(在我的多任务网络中)和在我的预先训练的网络中的层的权重。

现在,我可以正确地初始化一个分支,方法是使用与预先训练过的网络中相同的层名。但是,我必须在另一个分支中保持不同的层名,这样这些层就不会接受预先训练过的重量。

另外,我也不想在这两根树枝上分担重量。因此,给两个分支中对应层中的权重取相同的名称是行不通的。

有什么好办法/黑客可以这样做吗?

PS:我想避免网络手术,但是任何解释它的好方法的评论,也是欢迎的。

说明:我只想用相同的权重初始化这两个分支。在训练阶段,他们可以学习不同的权重,因为他们受到不同的损失层的支配。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-01-10 19:57:41

Przemak的回答是一个不错的黑客做上述工作。

  1. 为两个分支中的层指定不同的名称,并启用权重共享。
  2. 初始化网络并训练1-2次迭代。
  3. 然后训练原始网络(没有重量分担),用在步骤2之后得到的caffemodel初始化权重。

以上是一个不错的黑客,但网络手术是一个更好的方式来做到这一点。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41512790

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档