文章/答案/技术大牛

发布

社区首页 >问答首页 >神经网络中不冻结层的奇怪后果

问神经网络中不冻结层的奇怪后果
EN

Data Science用户

提问于 2022-08-29 16:44:15

回答 1查看 92关注 0票数 0

我在研究“为什么我们要冻结层”，我发现答案是：“不要丢失预先训练过的模型的信息”，但是，我们只是冻结了早期层(我知道为什么)。例如:我们的数据与模型所训练的数据非常相似。假设我们没有冻结任何一层。模型会犯很小的错误，收敛也会更少，我们不会破坏任何信息(即使权重变化很小)。我说错了吗？如果我不是，那我们为什么要冻结任何一层？

machine-learning

deep-learning

keras

training

transfer-learning

回答 1

Data Science用户

回答已采纳

发布于 2022-10-06 21:43:37

如果数据已经相似，那么对底层(主干)进行培训是没有意义的，因为您的网络已经很适合提取特性。然后，你冻结他们，以快速训练你的分类器(头部)。

正如禤浩焯引用的链接中所述，新的层在第一层中有很大的梯度，这可能会影响模型。因此，如果您的数据相似，但有了新的信息，在培训期间的大梯度更新将破坏您的预培训功能，它也适用于微调，您可以在这里检查。https://keras.io/guides/transfer_学习/

如果数据是不同的--例如，你想在imagenet上训练一个预先训练过的模型来对脑瘤进行分类，那么失去这些特征并没有多大的区别，最好只冻结已经可以提取低水平特征的第一层，例如水平/垂直边缘。

票数 1

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/113936

复制

相似问题

问神经网络中不冻结层的奇怪后果
EN

回答 1

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问神经网络中不冻结层的奇怪后果EN

回答 1

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问神经网络中不冻结层的奇怪后果
EN