百川智能与鹏城实验室开展合作 推出基于国产算力的长窗口大模型

新京报贝壳财经讯（记者白金蕾）11月16日下午，在2023西丽湖论坛上，百川智能与鹏城实验室宣布将携手探索大模型训练和应用，合作研发基于国产算力的128K长窗口大模型“鹏城-百川·脑海33B”。

百川智能和鹏城实验室展示了双方共同研发的“鹏城-百川·脑海33B”大模型。“鹏城-百川·脑海33B”的128K长上下文窗口基于“鹏城云脑”国产算力平台训练，未来可升级至192K，是基于国产算力训练的最长上下文窗口。

上下文窗口长度对模型理解和生成与特定上下文相关的文本至关重要，是大模型的核心技术之一。业界通常认为更长的上下文窗口可以提供更丰富的语义信息、消除歧义，能够让模型生成的内容更准确、更流畅。

未来，双方将在国产算力大模型技术创新和模型落地等方面加强合作，并与相关领域的优势单位如北京大学、清华大学等开展协同创新，助力本土大模型在模型性能、技术创新方面持续突破，推动本土大模型进一步开源开放。

编辑 徐超

校对 王心