ChatGPT体系结构的细节
ChatGPT体系结构的细节
提问于 2023-02-03 16:47:49
有谁知道关于OpenAI的ChatGPT体系结构的可靠来源--特别是关于以下几个方面？
- 隐藏层数
- 注意头数
- 隐藏层的尺寸
- 序列长度(以令牌数表示)
- 当前可供公众预览的模型版本中的参数数。我的理解是有多个版本的ChatGPT。
请注意:我已经熟悉GPT-3了.但是，我不确定ChatGPT的架构是否相同。如果有任何相反的证据。
回答 1
Data Science用户
发布于 2023-02-03 17:09:14
从OpenAI网站中，我们知道ChatGPT是GPT-3.5 (text-davinci-002)的一个微调版本.
在GPT-3.5页上，他们提到参数的数量是175 B(在表的脚注中，我们可以看到可能与API中使用的实际模型略有不同)，这与GPT-3的大小相匹配。因此，我知道ChatGPT和GPT-3一样大小.
关于GPT-3体系结构的细节已在纸中公开：
此外，他们在文件中提到：
所有模型都使用nctx = 2048令牌的上下文窗口。
所以：
- 层数: 96层
- 注意力头数: 96
- 隐藏层的尺寸: 12288
- 序列长度: 2048
- 参数数:175 B
请注意，由于ChatGPT来自GPT-3和GPT-3是GPT-2的一种进化，我们还从他们的论文中了解到，该体系结构与标准转换器解码器略有不同。有关特定体系结构差异的详细信息，请参阅这个答案。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/118273
复制相关文章
相似问题
腾讯云开发者
