我们可以使用GPT-2语句嵌入分类任务吗？
我们可以使用GPT-2语句嵌入分类任务吗？
提问于 2020-03-07 03:28:06
我正在尝试在句子分类任务中使用转换器嵌入，而不对它们进行细化。我使用了BERT嵌入，这些实验给了我很好的结果。现在，我想使用GPT-2嵌入(没有微调)。所以我有两个问题
- 我可以使用这样的GPT-2嵌入(因为我知道Gpt-2是从左到右训练的)
- 在生成任务以外的分类任务中是否有使用GPT-2的示例？
- 如果我可以使用GPT-2嵌入，我应该如何做呢？
回答 1
Stack Overflow用户
发布于 2020-10-03 03:04:46
我基本上解决了这个问题。在这里，我使用了从GPT-2中提取的嵌入。
- 因此，是的，我们可以使用GPT-2嵌入序列的最终令牌作为类令牌。由于从左到右的自我注意机制，最终令牌可以表示顺序信息.
- 有关使用GPT-2嵌入的实现，请检查以下GitHub问题。github问题
- 我对GPT-2和RoBERTa嵌入进行了实验比较.我只有用RoBERTa嵌入才能得到更好的结果，而不是GPT-2。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60574112
复制相关文章
相似问题
腾讯云开发者
