首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Llama3.1-8B中文版本来了!快来体验下!

近期最火热的AI模型非Meta的 Llama3.1莫属!它凭借强大的性能+开源的选择,让其一推出就成为热门!

为了方便国内中文用户使用,今天介绍一款基于Llama3.1-8B训练的AI模型,OpenBuddy-Llama3.1-8B

OpenBuddy-Llama3.1-8B是什么?

meta 发布的 llama3.1-8B 打破了此前 10b 以下模型的多项纪录。

根据 scaling law 法则,业界普遍认为 8b 模型的最佳训练数据规模在 0.2t(2000 亿)tokens 左右,但 meta 投入了巨量计算资源和数据用于提升该模型性能。

它在上万余张 H100 卡组成的计算集群上运行,正因如此,llama3.1-8b 预训练模型在多个指标上表现出色,优于之前广受欢迎的 mistral-7b 模型。

OpenBuddy Llama3.1-8B 是由 OpenBuddy 团队在 llama3.1-8b 的基础上,通过在少量中文数据上进行训练而成。

它支持中文、英文、日文、韩文、法文、德文等等多国语言,尤其在中文问答和跨语言翻译方面表现出色。

其上下文长度达到了惊人的131072 tokens,通过2500万条合成数据进行训练,展现出与GPT-3.5 Turbo相似的认知和推理能力。

OpenBuddy团队计划在未来发布更多版本的模型,并针对性地提升模型的中文编码效率和长文处理能力。这将进一步增强模型在实际应用中的表现,如果你想体验,可以访问下面地址。

模型地址:

代码地址:

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OODlW5sO4pXrKYepRY3Rz4OA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券