文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在训练过程中保持模型固定？

问如何在训练过程中保持模型固定？
EN

Stack Overflow用户

提问于 2020-04-28 01:27:29

回答 1查看 53关注 0票数 0

我正在尝试实现一个模型，该模型使用来自不同数据集的多个预训练BERT模型的编码，并使用完全连接层获得组合表示。在这方面，我希望BERT模型应该保持固定，只有完全连接的层应该得到训练。在huggingface-transformers中实现这一点是可能的吗？我没有看到任何允许我这样做的标志。

PS:我不想把每个BERT模型的输入编码都去掉，然后把它们当作输入。

回答已采纳

发布于 2020-04-28 08:13:00

一个简单的解决方案是在传递给优化器时只排除与BERT模型相关的参数。

param_optimizer = [x for x in param_optimizer if 'bert' not in x[0]]
optimizer = AdamW(param_optimizer, lr)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/61464726

复制

相似问题

问如何在训练过程中保持模型固定？EN