首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

智源研究院推出全球首个中文大模型辩论平台FlagEval Debate

北京智源人工智能研究院(BAAI)最近推出了全球首个中文大模型辩论平台FlagEval Debate。这一新平台旨在通过模型辩论这一竞争机制,为大语言模型的能力评估提供新的度量方式。它是智源模型对战评测服务FlagEval大模型角斗场的扩展,目标是甄别大语言模型之间的能力差异。

现有的大模型对战存在一些问题,如模型对战结果往往平局,难以区分模型间的差异;测试内容依赖用户投票,需要大量用户参与;现有对战方式缺乏模型间的交互。为了解决这些问题,智源研究院采用了大模型辩论的形式进行评估。

辩论作为一种语言类智力活动,能够体现参与者的逻辑思维、语言组织、信息分析与处理能力。模型辩论能够展现大模型在信息理解、知识整合、逻辑推理、语言生成和对话能力等方面的水平,同时测试其在复杂语境中的信息处理深度和迁移应变能力。

智源研究院发现,辩论这种交互性对战形式能够凸显模型之间的差距,并可以基于少量数据样本计算模型有效排名。因此,他们推出了基于众测的中文大模型辩论平台FlagEval Debate。

该平台支持两个模型围绕辩题展开辩论,辩题由平台随机抽取,辩题库主要由热搜话题、评测专家以及顶级辩论专家命制的辩题构成。所有用户均可在平台上对每场辩论进行评判,以提高用户体验。

每场模型辩论包括5轮意见发表,正反双方各有一次机会。为避免正反方位置带来的偏差,两个模型都会各做一次正方一次反方。每个大模型会与其他模型进行多场辩论,最终根据获胜积分计算模型排名。

模型辩论对战采取开放性众测和专家评测两种方式,其中专家评审团由专业辩论赛的选手和评委组成。开放性众测观众可以自由鉴赏和投票。

智源研究院表示,将继续探索模型辩论的技术路径与应用价值,坚持科学、权威、公正、开放的原则,不断完善FlagEval大模型评测体系,为大模型评测生态提供新的洞察与思考。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OJ-X4nhroqmTiy6LlODU-dVw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券