首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

词表的选择如何影响语言模型训练?这可能是目前见过最好的词表选择研究

在最近的一项实验中,研究者对 16 个语言模型使用不同的语料进行了预训练和微调。这次实验使用了 NanoGPT, 一种小规模的架构(基于 GPT-2 SMALL),训练了 12 个模型,NanoGPT 网络架构的配置为:12 个注意力头、12 层 transformer, 词嵌入维度为 768,进行大约 400,000 次迭代(大约 10 个 epoch)。然后在 GPT-2 MEDIUM 上训练了 4 个模型,GPT-2 MEDIUM 架构的设置为 16 个注意力头、24 层 transformer, 词嵌入维度为 1024,并进行 600,000 次迭代。所有模型均使用 NanoGPT 和 OpenWebText 数据集进行预训练。微调方面,研究者使用了 baize-chatbot 提供 的指令数据集,分别在两类模型里补充了额外的 20,000 和 500,000 个「字典」条目。

01
领券