BERT头计数
BERT头计数
提问于 2021-10-04 13:29:17
从我读到的文献来看，
Bert Base有12个编码层和12个注意力头。Bert Large有24个编码层和16个注意头。
为什么Bert large有16个关注点？
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-10-05 12:45:22
注意头的数量与(编码器)层的数量无关。但是，每个模型的隐藏大小之间存在固有的联系( bert-base为768，bert-large为1024 )，这在the original Transformers paper中进行了解释。本质上，作者的选择是自我注意块大小(d_k)等于隐藏维度(d_hidden)除以头部数量(h)，或者形式上
d_k = d_hidden / h由于标准选择似乎是d_k = 64，我们可以从参数中推断出最终的大小：
h = d_hidden / d_k = 1024 / 64 = 16这正是您在bert-large中看到的值。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69436845
复制相关文章
相似问题
腾讯云开发者
