前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >来了,腾讯正式发布自研大模型混元!

来了,腾讯正式发布自研大模型混元!

原创
作者头像
腾讯产业互联网学堂
发布2023-10-24 14:00:39
4980
发布2023-10-24 14:00:39
举报
文章被收录于专栏:云计算圈子云计算圈子

在 2023 年 9 月 7 日举办的 2023 全球数字生态大会上,腾讯正式发布自研通用大语言模型——混元,并宣布通过腾讯云对外开放。本文将主要介绍混元的相关信息与腾讯发展大模型的态度与打法。

01 第 1 问:混元是什么?

近两年,AIGC 技术结合产品落地带来了人工智能技术的再次翻红,随后大语言模型的爆发式增长又为其破圈添了一把火——“凡人饮水处,皆言大模型”。

当下,大模型在处理简单任务和高容错率场景方面表现较好,但要让其更可靠地处理复杂信息,仍面临较大的技术挑战。为了解决行业普遍的痛点,挖掘真实业务里的应用场景,一个名为混元的大模型诞生了。

腾讯混元大模型是由腾讯全链路自研的通用大语言模型,拥有超千亿参数规模,预训练语料超 2 万亿 tokens,具备强大的中文创作能力,复杂语境下的逻辑推理能力,以及可靠的任务执行能力。

值得一提的是,腾讯混元大模型是一个“从实践中来,到实践中去”的实用级大模型。

当前,腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ 浏览器等超过 50 个腾讯业务和产品,已经接入腾讯混元大模型测试,并取得初步效果。

02 第 2 问:混元有哪些技术特点?

全链路自研是腾讯混元大模型的首要特点。据腾讯集团副总裁蒋杰介绍,腾讯混元大模型从第一个 token 开始从零训练,掌握了从模型算法到机器学习框架,再到AI基础设施的全链路自研技术。

从2021年开始,腾讯先后推出千亿和万亿参数的 NLP 稀疏大模型,打破 CLUE 三大榜单记录,实现在中文理解能力上的新突破。

目前,业界大模型在场景中的应用依然有限,主要集中在容错率高、任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。

针对大模型容易“胡言乱语”的问题,腾讯优化了预训练算法及策略,让混元大模型的幻觉相比主流开源大模型降低了 30% 至 50%;通过强化学习的方法,让模型学会识别陷阱问题;通过位置编码优化,提高了超长文的处理效果和性能;提出思维链的新策略,让大模型能够像人一样结合实际的应用场景进行推理和决策。

此外,腾讯还自研了机器学习框架 Angel,使训练速度相比业界主流框架提升 1 倍,推理速度比业界主流框架提升 1.3 倍。

得益于全链路自研技术,腾讯混元大模型能够理解上下文的含义,并且有长文记忆能力,可以流畅地进行专业领域的多轮对话。除此之外,它还能进行文学创作、文本摘要、角色扮演等内容创作,做到充分理解用户意图,并高效、准确地给出有时效性的答复。

在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中,混元大模型共测评 66 个能力项,在“模型开发”和“模型能力”两个重要领域的综合评价均获得了当前的最高分。

在主流的评测集 MMLU、CEval 和 AGI-eval 上,混元大模型均有优异的表现,特别是在中文的理科、高考题和数学等子项上表现突出。

上海财经大学校长刘元春认为:“借助于全链路自研,中国将不断积累大模型相关人才和技术,逐渐形成体系化的产业链、人才链、技术链和创新链,最终走出一条发展通用人工智能的中国路径,助力我们在数字技术的创新上取得突破性进展。”

03 第 3 问:腾讯如何全面拥抱大模型?

蒋杰表示:“我们研发大模型的目标不是在评测上获得高分,而是将技术应用到实际场景中。腾讯将全面拥抱大模型。”

在此次大会上,蒋杰展示了腾讯会议、腾讯文档、腾讯广告等多个业务,在接入腾讯混元大模型后的实际应用情况。

比如腾讯会议基于混元大模型打造了 AI 小助手,只需要简单的自然语言指令,就能完成会议信息提取、内容分析等复杂任务,会后还能生成智能总结纪要。据实测,在指令理解、会中问答、会议摘要、会议待办项等多个方面,混元大模型均获得较高的用户采纳率。

在文档处理方面,腾讯混元大模型支持数十种文本创作场景,在腾讯文档推出的智能助手功能中已有应用。同时,混元还能够一键生成标准格式文本,精通数百种Excel公式,支持自然语言生成函数,并基于表格内容生成图表,目前这些功能正在内测阶段,将在成熟后面向用户开放。

在广告业务场景,腾讯混元大模型支持智能化的广告素材创作,能够适应行业与地域特色,满足千人千面的需求,实现文字、图片、视频的自然融合。此外,基于混元大模型的能力,广告智能导购能够帮助商家在企业微信等场景,提升服务质量和服务效率。

今年6月,腾讯云推出了模型即服务(MaaS)解决方案,提供涵盖模型预训练、模型精调、智能应用开发等一站式的行业大模型服务。

最近,腾讯云也全面接入了 Llama 2、Bloom 等 20 多个主流模型,和混元一样,都支持直接部署调用。客户可以根据实际需求,基于混元、也可以基于开源模型,打造自己专属的行业大模型。

04 写在最后

2023 年是腾讯创立的第 25 个年头,2023 年 9 月也是腾讯「99 公益日」的第 9 个年头。技术引领创新,归根结底要实现的也正是腾讯使命愿景中的「用户为本,科技向善」。混元大模型的发布,是这条无止境道路上的一个精彩瞬间,而未来类似的瞬间,还会有更多闪烁的机会。

来源:公众号【腾讯产业互联网学堂】,关注即可免费领取云计算学习视频、干货资料。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 01 第 1 问:混元是什么?
  • 02 第 2 问:混元有哪些技术特点?
  • 03 第 3 问:腾讯如何全面拥抱大模型?
  • 04 写在最后
相关产品与服务
腾讯会议
腾讯会议(Tencent Meeting)为企业打造专属的会议能力,卓越的音视频性能,丰富的会议协作能力,坚实的会议安全保障,提升协作效率,满足大中小会议全场景需求。您可以使用腾讯会议进行远程音视频会议、在线协作、会管会控、会议录制、指定邀请、布局管理、同声传译等。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档