具有标记特征的训练模型
具有标记特征的训练模型
提问于 2020-09-11 10:59:58
我想为希伯来语培养一个类似伯特的模型，在这里我知道：
- Lemma
- Gender
- Number
- Voice
我想训练一个模型，对于每个标记，这些特征是串联嵌入(令牌)=E1(引理)：E2(性别)：E3(数字)：E4(语音)
有没有办法用现在的拥抱式变压器库来做这样的事情？
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-09-14 08:21:22
Huggingface的变形金刚中的模型默认不支持考虑因素的输入。作为解决办法，您可以自己嵌入输入并绕过BERT中的嵌入层。您可以提供input_ids，而不是在调用模型时提供input_embeds。它将使用提供的嵌入和位置嵌入到它们。请注意，所提供的嵌入需要与模型的其他部分具有相同的维度。
您需要每个输入类型有一个嵌入层(引理、性别、数字、语音)，这也意味着具有特定于因素的词汇表，这些词汇表将为用于嵌入查找的输入分配索引。对引理有更大的嵌入比有几个可能的值的语法范畴更有意义。
然后，您只需将嵌入连接起来，可选地将它们投影，并将它们作为input_embeds提供给模型。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63845748
复制相关文章
相似问题
腾讯云开发者
