首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

星火认知大模型表现突出:国内大模型排名第一

【ITBEAR科技资讯】5月10日消息,SuperCLUE中文通用大模型综合性评测基准正式发布。该基准旨在针对中文可用的通用大模型,使用多个维度能力进行测试,评估这些模型在不同任务上的效果情况,并与国际上的代表性模型进行比较。

据了解,该评测榜单分为总榜单、基础能力榜单、中文特性榜单三个部分。其中,基础能力榜单包括了常见的有代表性的模型能力,如语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等10项能力。专业能力榜单则涵盖了中学、大学与专业考试,共计50多项能力。中文特性榜单则针对有中文特点的任务,包括了中文成语、诗歌、文学、字形等10项多种能力。

据ITBEAR科技资讯了解,首次公布的榜单显示,近期发布的星火认知大模型在国内大模型中表现最佳,总分达到53.58分。相较于GPT-4,星火认知大模型的差距达到23个百分点,在总分上与GPT-3.5-turbo相比也有13个百分点的差距。

讯飞星火认知大模型在对话、百科知识、角色模拟、计算能力、语义理解、逻辑推理方面,已经达到GPT 3.5平齐的水准。在语义理解方面,讯飞星火认知大模型甚至得到了100分的满分,超过了GPT-4。

该评测榜单的发布对于中国大模型的发展具有重要意义,它为评估中文通用大模型提供了重要的参考,同时也为模型的改进提供了指导。在未来,相信中国大模型将继续迎来发展,并在不断提高性能的同时,应用于更多领域,为各行各业的人们带来更好的服务。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230510A04I3600?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券