Nous Research 提出高效计算法 YaRN，可扩展大模型上下文窗口

据品玩 9 月 5 日报道，Nous Research 联手 EleutherAI 实验室以及瑞士日内瓦大学的研究者发表论文，公布了一项名为 YaRN 的方法，可扩展大模型上下文窗口。论文显示，和传统方法相比，YaRN 需要更少的标记和训练步骤。利用这种方法，LLaMA 模型可以有效地利用和外推到比其原始预训练所允许的上下文长度更长的上下文，同时超过了过去窗口扩展的最新技术水平。据 GitHub 页面显示，使用 YaRN 进行微调的 LLaMA 2 7B/13B 上下文窗口分别可达到 64k 和 128k。