首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

全球最强开源模型一夜易主,1320亿参数推理飙升2倍!

Databricks Model Gauntlet由30多项任务组成,涵盖了6个类别:世界知识、常识推理、语言理解、阅读理解、符号问题解决和编程。...比如,训练DBRX系列中较小的成员DBRX MoE-B(总参数为23.5B,活跃参数为6.6B)所需的Flop比LLaMA2-13B少1.7倍,才能在Databricks LLM Gauntlet上达到...2023年5月5日,Databricks发布了MPT-7B,这是一个在1T token上训练的7B参数模型,在Databricks LLM Gauntlet上得分为30.9%。...在Databricks Gauntlet上得分39.0%,而MPT-7B为30.9%。 研究者估计,全新的预训练数据至少比用于训练MPT-7B的数据高出2倍。...它在Databricks Gauntlet上的表现优于MPT-7B,达到32.1%。 除了更好的数据质量外,token效率提高的另一个重要原因可能是GPT-4分词器。

19110
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到
    领券