首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

腾讯自研深度思考模型混元T1发布:超强推理,秒回长文处理高手!

腾讯近日揭晓了其自主研发的深度思考模型——混元T1正式版,这款模型被誉为腾讯目前最强的推理引擎。

据腾讯介绍,混元T1不仅具备快速的响应能力,能够在瞬间回复用户的问题,还特别擅长处理长篇文本。通过大规模的强化学习,并特别针对数学、逻辑推理、科学以及代码等复杂理科问题进行了优化,使得其推理能力更上一层楼。

在业界常用的推理模型基准测试中,混元T1展现出了强大的实力。例如,在大语言模型评估增强数据集MMLU-PRO中,它取得了87.2分的高分,仅次于顶尖模型o1。在Ceval、AIME以及Zebra Logic等涉及中英文知识及竞赛级数学、逻辑推理的公开测试中,混元T1的表现同样达到了行业领先水平。

混元T1在多项对齐任务、指令跟随任务以及工具利用任务中也展现出了极高的适应性。这些任务的完成,进一步证明了其强大的推理和学习能力。

在技术上,混元T1正式版采用了混元Turbo S的创新架构,并引入了Hybrid-Mamba-Transformer融合模式。这是工业界首次将混合Mamba架构无损应用于超大型推理模型,这一创新不仅降低了传统Transformer结构的计算复杂度,还显著减少了KV-Cache的内存占用,从而有效降低了训练和推理的成本。

凭借出色的长文捕捉能力,混元T1能够有效解决长文推理中常见的上下文丢失和长距离信息依赖问题。同时,混合Mamba架构针对长序列处理进行了深度优化,通过高效的计算方式,在确保长文本信息捕捉能力的同时,实现了资源消耗的大幅降低。在相近的激活参数量下,混元T1的解码速度提升了2倍。

目前,腾讯已经开放了混元T1的体验,用户可以通过API进行使用。其定价策略也相当亲民,输入价格为每百万tokens 1元,输出价格为每百万tokens 4元。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/ObMsGHGkO_MWI1H7q3hw6f8g0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券