首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >LLM >常见的大语言模型?

常见的大语言模型?

词条归属:LLM

目前比较常见的大语言模型有以下几种:

GPT系列

GPT(Generative Pre-trained Transformer)是由OpenAI推出的一系列大型预训练语言模型。其中最新的版本是GPT-3,拥有1750亿个参数,可以生成高质量的自然语言文本。

BERT系列

BERT(Bidirectional Encoder Representations from Transformers)是由Google推出的一系列预训练语言模型。BERT的特点是采用双向编码器,可以同时考虑文本的前后内容,从而提高模型的性能。

XLNet

XLNet是由CMU、Google Brain等单位共同推出的一种预训练语言模型。它采用自回归和自编码两种方式进行训练,可以处理更长的文本序列,并在多项自然语言处理任务中取得了优异的性能。

RoBERTa

RoBERTa是Facebook推出的一种预训练语言模型。它在BERT的基础上做了一些改进,如更长的训练时间、更大的训练数据等,从而取得了更好的性能。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券