前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >“1024 直接对标 ChatGPT!”科大讯飞星火大模型立 Flag、一手实测来了

“1024 直接对标 ChatGPT!”科大讯飞星火大模型立 Flag、一手实测来了

作者头像
AI科技大本营
发布2023-05-15 10:10:26
6210
发布2023-05-15 10:10:26
举报
文章被收录于专栏:AI科技大本营的专栏

作者 | 屠敏

出品 | CSDN(ID:CSDNnews)

短短半年之内,在大模型赛道上,国内外 AI 头部玩家陆续带着自己的 AIGC 产品迅速就位并“开跑”。现如今,谁能打造出中国版 ChatGPT,已经不再是一个问题。但是,谁能做出更好的中国版 ChatGPT,成为业界关注的重点。

北京时间 5 月 6 日下午 2:00,作为人工智能“国家队”的科大讯飞,如约揭晓了其认知大模型——讯飞星火的真实面纱, 并带来了丰富的应用成果,为中国生成式 AI 市场再添一位猛将。

目前,讯飞星火认知大模型已经开启内测(https://xinghuo.xfyun.cn)。CSDN 在早前已经获得了内测,下文中,我们也将与大家一起探测「讯飞星火认知大模型」的真实情况,以及它的与众不同之处。

带着 7 大类 481 个细分的任务类型,讯飞星火认知大模型来了!

在发布会现场,科大讯飞董事长刘庆峰表示,认知大模型的技术阶跃和快速进化,让人工智能在全球掀起全新热潮。当前,认知大模型成为通用人工智能的“曙光”。与此同时,认知大模型的“智能涌现”将带来解决人类刚需的全新机遇。

具体来看,智能涌现的通用人工智能系统具有七大能力,包括文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力、多模态能力。基于此,人类只要做画龙点睛的加工,就能得到“懂你所言,答你所问,创你所需,解你所难,学你所教”的所有内容。

讯飞星火认知大模型是基于科大讯飞 12 年的技术积累,打造而成,实现了通用人工智能系统七大能力中的 481 个细分任务。其还在 2022 年 12 月 15 日,正式启动“1+N”认知大模型专项攻关,其中“1”就是指通用认知智能大模型,“N”就是大模型在教育、办公、汽车、人机交互等各个领域的落地。

对于先行者,刘庆峰表示,「向 OpenAI 致敬和学习,快速追赶并努力超越」。

与此同时,其更是在现场目标明确,立下 2023 年内讯飞星火认知大模型的升级 Flag:

  • 6 月 9 日,讯飞星火认知大模型将突破开放式问答、升级多轮对话能力、数学能力。
  • 8 月 15 日,突破代码能力、继续升级多模态交互能力。
  • 10 月 24 日,讯飞星火认知大模型将在通用大模型领域直接对标 ChatGPT,并在中文维度实现超越。

话不多说,我们也将从七大能力直接开启测试模式。

代码能力:多功能、多语言

对于程序员而言,关注的重点当然是大模型能给我们解决多少代码、编程问题。

在此,我们便先测试一下。

譬如,捉 Bug。

写代码:“围绕“给定一个 1-100 的整数数组,请找到其中缺少的数字”写一段实现代码”。

再来一个递归函数:

挑战难一点的:「怎么用 C++ 编写一个复数计算器?包括加减乘除、幂次方、取模、辐角、共轭。实部和虚部都是实数范围。」

对此,我们咨询了 CSDN-AI 团队研发总监对这段代码进行了点评,其表示:讯飞星火认知大模型生成的代码,复数类的代码基本实现是对的,但是测试用例没有一次性生成完整。和 GPT 生成的测试用例相比,这段代码比较简洁完整。

其实在代码能力上,刘庆峰坦言,讯飞星火大模型的这一功能和 ChatGPT 相比,还有很大差距,下一步升级的重点功能也是这一块。

就连大模型自身也说道:“我的代码生成功能仍然有限,可能无法满足复杂的业务需求”。

简单的代码问题,对于讯飞星火认知大模型来说,不成问题。不过在涉及到一些复杂的工业互联网、架构时,其生成的内容只能供参考。作为开发者,更要自行检查代码正确性、可靠性和保密性等等。

文本生成能力:多风格、多任务、长文本

首先,先给我们介绍一下自己:旨在“星星之火,可以燎原”。

再来科普一下认知大模型:

再让讯飞星火认知大模型来讲个英文的故事:

直接翻译成中文试试:

几次实测下来,讯飞星火认知大模型在不同语言的涌现能力表现都不错:

继续续写一个故事:如果奥特曼出现在《西游记》故事中,会发生什么?

结果显示,它对中国文化理解力也不错:

在这一功能上,刘庆峰表示,讯飞星火大模型在国内明显领先,并且在中文方面超过了 ChatGPT,并且在持续进步中。

语言理解:多层次、跨语种

中华文化博大精深,这是否会难倒讯飞星火认知大模型?

用现场的测试案例,先来一波直击灵魂的提问:「俗话说,男子汉大丈夫,宁死不屈。但俗话又说,男子汉大文夫,能屈能伸。这两种说法哪种是对的」

追问:「如果有个小伙子和女朋友吵架了,他是应该宁死不屈还是能屈能伸」。

语境理解:「女朋友生气时,说随便,男朋友应该怎么做?」

再来一个:「烈日之下,我哭了。烈日之下,我看到我的爸爸在干活,我哭了。分别表达了什么心情」

不得不说,拥有讯飞星火大模型的情商和理解力,绝对能分分钟拯救“每步都踩在女朋友的雷点上”的他。

再来试试英文:「这句话有问题吗:Each of the boys have a pen.」

结果显示,此大模型不仅能识别出错误,也能直接给出正确的语句答案。

知识问答:泛领域、开放式

先问一下关于医学问题:

提问:刺绣里面的"水路”、“落绷"是什么?

再问:「"蚂蚁上树”这道菜怎么做?」

这一次,我们终于没有看到真实的蚂蚁被做成菜的“指南”了:

不妨再来一场辩论试试:「以"AI创作的绘画是/不是艺术"为主题,进行辩论,正方:是艺术,反方:不是艺术,最终得出结论」

刘庆峰表示,讯飞的大模型也正在逐步学习专业的科学文献,未来回答也会更加专业。

逻辑推理

来一道经典的“过河”推理问题:

一个人带着一匹狼、一只羊和一捆卷心菜来到了河边。他需要过河,但是河边只有一条船,而且他只能带一样东西上船。他不能把狼和羊一起留在河边,也不能让羊和卷心菜一起留在河边,因为在这两种情况下,前者都会吃掉后者。那么,如何用最少的渡河次数把所有东西都带到河对岸呢?解释得详细一些

根据我们的需求以及提问,讯飞星火认知大模型能够尽可能提供详尽的解答:

继续提问:

数学能力

在数学能力上,先来一个简单的“鸡兔同笼”试试水。我们发现,相比其他大模型,讯飞星火似乎更善用方程来解决问题:

接下来,我们又用了此前在其他三四款大模型上提过的问题来进行了测试,但是彼时只有 ChatGPT 回答出来了。

提问:某厂一车间有 64 人,二车间有 56 人,现因工作需要,要求第一车间人数是第二车间人数的一半,问需从第一车间调多少人到第二车间?(列方程解答)

讯飞星火认知大模型并没有让我们失望,成功做出了解答:

再来测试一下不动脑筋就会想错的问题:「公司的股票昨天涨了 10%,今天又跌了 10%,请问是涨了还是跌了」。

多模态能力

截至目前,虽然星火认知大模型不是国内第一个发布的,但在多模态能力上,功能还是颇为全面的,具有语音、图文理解、虚拟人合成、多模态交互等多种能力。

不过,有些遗憾的是,这些功能目前处于科大讯飞内部测试阶段,尚未公开。根据其官方计划,公测用户应该能在 8 月份用上。

当前,倒是可以通过现场演示一饱眼福。如上传一张英文菜单图片,直接翻译为中文:

也可以畅想一下,对于英文不好的技术人而言,是不是可以通过大模型,无障碍阅读很多英文文献、论文了。

下面进一步交互,表现力也不错:

也能直接语音输出:

还能直接生成虚拟人。这个虚拟人能够结合文字叙述的背景,配上相应的背景图、手势、语气,实现寓意贯穿。

畅想一下未来

综合以上,讯飞星火认知大模型在情商、智商、逆商不错的表现能力,有目共睹。不过,这也引发了不少从业者的焦虑,现在不妨也让它来与我们一起畅想一下未来。

当问及和人类的智慧相比,谁更胜一筹时,星火认知大模型给出了中肯的回答:在某些情况下,还需要人类的判断和智慧。

面对现在很多程序员都要问上一句的“取代潮”,它表示自己不太可能完全取代程序员的工作。

畅想未来,它也能很现实地告知,理想中的 AGI 离我们还有很远,甚至可以说是遥不可及。

这对于很多新闻播报的自媒体工作者而言,无疑是福音来了。

与此同时,当问及未来开源 AI 大模型的发展趋势时,其中立地回答道:各有优劣,未来的发展趋势将取决于具体的应用场景和技术需求。

最后

整体测试下来,讯飞星火认知大模型给我们带来的惊喜远远大于预期,这也是讯飞大模型在今天发布之后频频获得好评的原因。不过,刘庆峰也表示,目前纯大模型技术在新知识获取、事实类问答、史实与传统典籍理解等方面还有一定的缺陷。

不过正如文章伊始所述,这些难题攻克都已经提上日程。

如今,讯飞星火认知大模型技术也已经从单一的大模型本身,成功扩展到教育、办公、汽车、数字员工等 N 个方向,在不断迭代中,我们也期待星火认知大模型更加亮眼的表现。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-05-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI科技大本营 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
腾讯云服务器利旧
云服务器(Cloud Virtual Machine,CVM)提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源,适应变化的业务需求,并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档