近期最火热的AI模型非Meta的 Llama3.1莫属!它凭借强大的性能+开源的选择,让其一推出就成为热门!
为了方便国内中文用户使用,今天介绍一款基于Llama3.1-8B训练的AI模型,OpenBuddy-Llama3.1-8B!
OpenBuddy-Llama3.1-8B是什么?
meta 发布的 llama3.1-8B 打破了此前 10b 以下模型的多项纪录。
根据 scaling law 法则,业界普遍认为 8b 模型的最佳训练数据规模在 0.2t(2000 亿)tokens 左右,但 meta 投入了巨量计算资源和数据用于提升该模型性能。
它在上万余张 H100 卡组成的计算集群上运行,正因如此,llama3.1-8b 预训练模型在多个指标上表现出色,优于之前广受欢迎的 mistral-7b 模型。
OpenBuddy Llama3.1-8B 是由 OpenBuddy 团队在 llama3.1-8b 的基础上,通过在少量中文数据上进行训练而成。
它支持中文、英文、日文、韩文、法文、德文等等多国语言,尤其在中文问答和跨语言翻译方面表现出色。
其上下文长度达到了惊人的131072 tokens,通过2500万条合成数据进行训练,展现出与GPT-3.5 Turbo相似的认知和推理能力。
OpenBuddy团队计划在未来发布更多版本的模型,并针对性地提升模型的中文编码效率和长文处理能力。这将进一步增强模型在实际应用中的表现,如果你想体验,可以访问下面地址。
模型地址:
代码地址:
领取专属 10元无门槛券
私享最新 技术干货