我最初的问题是,我希望我的模型只输出0-1,这样我就可以映射回我的分类图像标签(Flux.jl restrict variables between 0 and 1)。所以我决定添加一个sigmoid激活函数,如下所示:
σ = sigmoid
model = Chain(
resnet[1:end-2],
Dense(2048, 1000),
Dense(1000, 256),
Dense(256, 2, σ), # we get 2048 features out, and we have 2 classes
);
然而,现在我的模型只输出1.0。有没有关于我为什么或者是否错误地使用激活函数的想法?
发布于 2021-11-22 21:36:53
考虑对隐藏层使用激活函数,因为多个线性层(没有非线性激活函数的密集层)就等同于单个线性层。如果你使用的类别是排他性的(狗或猫,但不是两者),它涵盖了你的所有情况(它总是狗或猫,而不是例如驼鸟),那么概率应该加起来为1,并且softmax
应该更适合于最后一个函数。softmax
函数通常与crossentropy
损失函数一起使用。
model = Chain(
resnet[1:end-2],
Dense(2048, 1000, σ),
Dense(1000, 256, σ),
Dense(256, 2),
softmax
);
为获得更好的数值稳定性和准确性,建议将crossentropy
分别替换为和logitcrossentropy
(在这种情况下,softmax
不是必需的)。
https://stackoverflow.com/questions/70072282
复制相似问题