问chatGPT使用的是什么词嵌入机制？
EN

Data Science用户

提问于 2023-01-27 03:31:16

回答 1查看 2.6K关注 0票数 2

chatGPT使用的是什么词嵌入机制？是Word2Vec，GloVe，还是别的什么？

回答已采纳

发布于 2023-01-27 10:05:09

ChatGPT是一种基于变压器神经结构的语言模型，但只有解码器部分。

它不使用预先训练过的嵌入来表示文本。相反，其使用的嵌入是与神经网络的其他部分一起训练的。此外，ChatGPT用来表示文本的粒度是子词，而不是整个单词。

它的前身GPT-2是开源，所以您可以通过查看它来了解ChatGPT的内部结构。GPT-3是GPT-2的“放大”版本，包括模型和培训数据。从GPT-3跳转到GPT-3.5 (文本-davinci-003)和ChatGPT不仅仅是缩放；详细信息请查看这篇文章。

票数 3

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/118073

复制

相似问题

问chatGPT使用的是什么词嵌入机制？EN