腾讯混元大模型基于 Transformer 神经网络架构,具有万亿参数规模。
大模型训练中,首先采用了预训练的方式,让模型对海量文本进行无监督学习,通过海量优质文本语料,让模型自动学习到自然语言的语法、语义和上下文信息(即无需给定事先标注过的训练数据,而是根据数据本身的特征和结构自动进行分类或续写等任务,目的是发现数据中的潜在规律和模式)。预训练后则进行有监督的微调,以适应特定的任务和目标。
同时,混元还采用了各种技术手段来提高模型的性能和效果,例如使用掩码策略、使用不同的优化算法、进行数据增强等。这些技术手段可帮助模型更好地处理文本数据,提高模型的泛化能力和生成效果。
腾讯混元大模型目前覆盖四大核心能力:
多轮对话
具备上下文理解和长文记忆能力,可流畅完成各专业领域的多轮对话。
内容创作
基础模型使用了中文与外文、自然语言与代码、文科与理科等知识,具备强大的中文创作能力。支持文学创作、文本概要、角色扮演能力,流畅、规范、中立、客观。
逻辑推理
准确理解用户意图、基于输入数据或信息进行推理、分析。
知识增强
有效解决事实性、时效性问题,提升内容生成效果。腾讯混元大模型采用了格式化思维链技术、“探针”算法和搜索增强技术,降低了长链条推理过程中的幻觉问题,增强了知识的实时性、真实性。