Together 联合斯坦福等机构开启 RedPajama 计划，旨在创建完全开源的大型语言模型

据 VentureBeat 报道，总部位于加州的专注于建立去中心化云和开源模式的公司 Together 近日宣布了 RedPajama 计划。据悉，RedPajama 是 Together、Ontocord.ai、ETH DS3 Lab、斯坦福 CRFM、Hazy Research 和 MILA 魁北克人工智能研究所之间的一个合作项目，旨在创建领先的、完全开源的大型语言模型（LLM）。其训练将基于 LLaMA 的 1.2 万亿 token 数据集。这些数据使任何组织都能对模型进行预训练，并可获得许可。

在未来几周，Together 将发布一整套 LLM 和基于 RedPajama 数据集的指令调整版本。该公司强调，即将推出的模型将是完全开源的，并且在商业上是可行的。