DialoGPT扩展了Hugging face transformer模型来实现接近人类的表现。相比于基准系统，DialoGPT生成的文本更相关，更有内容，更具有一致性。...但是不同于GPT-2，DialoGPT在从Reddit讨论链中提取的大规模会话对上进行训练。...作者的假设是这可以让DialoGPT捕捉到更细粒度的对话流中的联合概率分布P(Target, Source)。在实践中观测到，DialoGPT产生的句子是多样的，并且包含了针对源句子的信息。...表1：DialoGPT与Team B、PERSONALITYCHAT对比 ?...一个显著的现象是DialoGPT优于PersonalityChat。该表还表明，一个DialoGPT中等规模模型可能已经接近人类回复水平。 表4：人工评估结果 ?
相比之下微软的模型就克制很多，最大规模的DialoGPT参数量为762M，表现最好的模型参数量是345M。...数据 数据则是两篇论文提升performance的重中之重，特别是对于模型大小比较正常的DialoGPT来说。 DialoGPT论文里明确说数据是从Reddit上搞下来的。...DialoGPT使用16个V100，而Meena则使用了2048个TPU v3核训练了30天。...我们来看一下Meena论文里的结果，因为他们为了比较，在相同的评测体系下把DialoGPT也测了。...参考阅读 DialoGPT： http://arxiv.org/abs/1911.00536, https://github.com/microsoft/DialoGPT Meena： http://arxiv.org
DialoGPT DialoGPT扩展了GPT-2来应对对话神经响应生成（conversational neural response generation model）遇到的挑战。...类似于GPT-2，DialoGPT也表示为一个自回归（autoregressive, AR）语言模型，利用多层transformer模型架构。...但是不同于GPT-2，DialoGPT在从Reddit讨论链中提取的大规模会话对上进行训练。...作者的假设是这可以让DialoGPT捕捉到更细粒度的对话流中的联合概率分布P(Target, Source)。在实践中观测到，DialoGPT产生的句子是多样的，并且包含了针对源句子的信息。...无论在自动评估还是人类评估中，DialoGPT都展示了最先进的结果，将表现提升到接近人类回复的水平。 4.1 模型架构 作者在GTP-2架构的基础上训练DialoGPT模型。
利用微软 DialoGPT 生成的对话结果示例。 DialoGPT 是一种用于对话响应生成的可调节式千兆词级神经网络模型，其训练基于 Reddit 数据。...但不同于 GPT-2，DialoGPT 的训练使用了从 Reddit 讨论链中提取出的大规模对话对/会话。...作者猜想这应该能让 DialoGPT 学到对话流中更细粒度的 P(Target, Source) 的联合分布。...方法 模型架构 DialoGPT 模型基于 GPT-2 架构。...有 345M 个参数的 DialoGPT 以及波束搜索在几乎所有基准上都得到了最高的自动评估分数。 ?
论文地址：https://arxiv.org/pdf/2108.11830.pdf 结果显示，OpenAI的GPT-3和微软的DialoGPT，在赞同「冒犯性」评论的可能性上，几乎是「安全性」评论的两倍...接下来就到了AI出场的时候了，OpenAI的GPT-3和微软的DialoGPT被派去挨个回复这些对话。...对话模型模仿了这种人类行为: DialoGPT和GPT-3赞同冒犯性评论的可能性几乎是安全性评论的2倍。
| 惠惠惠惠惠惠然 整理 | NewBeeNLP 大规模预训练言模型在生成式对话领域近年来有非常多的工作，如百度PLATO系列(PLATO[1]/PLATO-2[2]/PLATO-XL[3])，微软DialoGPT...的结构 「Transformer-ED」 例如Google Meena以及FaceBook Blender； Transformer的Decoder结构 「Transformer-Dec」 比如微软DialoGPT...「MMI Rank (maximum mutual information rank)」 MMI Rank最早在微软的DialoGPT中被使用，它是一个基于GPT2的生成模型：采用预训练的backward...DialoGPT的作者认为，最大化反馈模型概率惩罚了那些"温和"的回复，这是由于频繁的和重复的回复可以与许多可能context关联，因此得到的概率都比较低。...（DialoGPT和Meena的实验表示在预训练模型上继续训练比从头开始训练的要效果更好）。
DialoGPT 非常适合这个任务。...DialoGPT 是微软公司构建的一个模型， 是用 Hugging Face 的 pytorch transformer 和 OpenAI 的 GPT-2 开发的。...幸运的是，这对你来说并不太困难，你可以通过克隆此 repo 来运行 DialoGPT 的整个部署。 一旦部署了 DialoGPT API，就可以将其连接到前端并开始处理客户请求。...额外提示：如果你对使用 DialoGPT 有问题，这里有一个教程：https://towardsdatascience.com/how-to-actually-use-ml-in-production-reading-comprehension
尽管开放域聊天机器人仍然是一个充满挑战的研究领域，但由于巨大的文本语料库推动的大规模预训练方法的最新进展催生了诸如微软的DialoGPT，谷歌的Meena和Facebook的Blender之类的尖端英语聊天机器人模型...PLATO-2 与DialoGPT的单向网络以及Meena和Blender的Encoder-Decoder体系结构不同，PLATO-2通过灵活的关注机制设计保持统一的网络用于双向上下文编码和单向响应生成...与Microsoft的DialoGPT，Google的Meena和Facebook的Blender相比，PLATO-2在连贯性，信息和参与英语对话方面表现优于其他公司。
Seq2Seq-DU[16]，DialoGPT[17]，BERT-GEN[7]，T5[18]）以及基于对比学习的方法（e.g. Group-wise[9]，T5-CLAPS[19]）。...embedding 距离（extrema/average/greedy）[21] 来作为自动化评价指标，结果如下图所示： 我们在 QQP 数据集上还采用了人工评估的方式，3 个标注人员分别对 T5-CLAPS，DialoGPT...Dialogpt: Large-scale generative pre-training for conversational response generation.
Huggingface Hub上其他的text generation模型，这里我找到一个中文的： generator = pipeline('text-generation', model='liam168/chat-DialoGPT-small-zh
类似的对话生成模型包括GPT-3（Generative Pretrained Transformer-3）和DialoGPT。它们都是基于生成语言模型的，具有类似的优点和缺点。
例如，针对话理解，常见模型有 PolyAI 的 ConvRT [20]，Salesforce 的 TOD-BERT [21] 和亚马逊的 ConvBERT [31]，针对对话生成，常见模型有微软的 DialoGPT...当前各种常见预训练对话模型，如 Meena，DialoGPT 等往往都直接将对话动作的选择过程隐含建模到模型参数里，存在着不可解释和不可控等问题。...Dialogpt: Large-scale generative pre-training for conversational response generation.
gpt2bot 链接: https://github.com/polakowo/gpt2bot 使用 DialoGPT 对 Reddit 讨论数据进行了训练。
为了计算 SSA，研究者使用众包方式测试了 Meena、Mitsuku、Cleverbot、小冰和 DialoGPT 等聊天机器人。为了保证评价的连贯性，每个对话都以「Hi」开始。
例如，针对话理解，常见模型有 PolyAI 的 ConvRT [5]，Salesforce 的 TOD-BERT[6]和亚马逊的 ConvBERT[7]，针对对话生成，常见模型有微软的 DialoGPT...DialoGPT: Large-Scale Generative Pre-training for Conversational Response Generation.
2] Technical report: Auxiliary tuning and its application to conditional text generation (2020) [3] DialoGPT
panoptic facebook/detr-resnet-50 openai/clip-vit-large-patch14 google/owlvit-base-patch32 microsoft/DialoGPT-medium
根据HuggingFace上的评分4，ChatGLM2-6B和ChatGLM-6B都比其他类似的对话模型（如DialoGPT、BlenderBot等）要好，但是还不如一些专门针对特定领域或任务的模型（如
纵观大模型发展历程，由微软研发的 DialoGPT 是相对较早的系统，它完全基于 GPT 架构，从 Reddit 上抽取 147M 对话数据，实现了互信息最大化。...谷歌研发的 Meena 系统提出了人工评价体系 SSA，性能显著超越了 DialoGPT。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
