专栏首页arxiv.org翻译专栏使语言模型能够填补空白(CS CL)
原创

使语言模型能够填补空白(CS CL)

我们提出了一种简单的文本填充方法,即在文档的任何位置预测文本丢失的跨距。虽然填充可以实现丰富的功能,特别是用于编写辅助工具,但更多的注意力集中在语言建模上——一种在文档末尾预测文本的填充的特殊情况。本文旨在将语言模型(LMs)的功能扩展到更一般的填充任务。为此,我们训练(或微调)现成的LMs序列包含人工屏蔽文本和被屏蔽文本的连接。我们证明这种方法,我们称之为语言模型填充,可以使LMs在三个不同的领域有效地填充整个句子:短篇小说、科学摘要和歌词。此外,我们还表明,人类很难将我们的方法填充的句子识别为短篇小说领域的机器生成。

原文题目:Enabling Language Models to Fill in the Blanks

原文:We present a simple approach for text infilling, the task of predicting missing spans of text at any position in a document. While infilling could enable rich functionality especially for writing assistance tools, more attention has been devoted to language modeling---a special case of infilling where text is predicted at the end of a document. In this paper, we aim to extend the capabilities of language models (LMs) to the more general task of infilling. To this end, we train (or fine-tune) off-the-shelf LMs on sequences containing the concatenation of artificially-masked text and the text which was masked. We show that this approach, which we call infilling by language modeling, can enable LMs to infill entire sentences effectively on three different domains: short stories, scientific abstracts, and lyrics. Furthermore, we show that humans have difficulty identifying sentences infilled by our approach as machine-generated in the domain of short stories.

原文作者: Chris Donahue

原文地址:https://arxiv.org/abs/2005.05339

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用公共向量空间的Twitter情感模型的跨语言转移(CS CL)

    词嵌入表示数字空间中的词,其方式是将词之间的语义关系编码为向量空间中的距离和方向。跨语言词嵌入将一种语言的词映射到另一种语言的向量空间,或者将多种语言的词映射到...

    刘子蔚
  • 1+1>2:MIT&IBM提出结合符号主义和连接主义的高效、准确新模型

    人工智能应该复制人脑的哪一部分功能?这个问题的答案反映了一场辩论的焦点,这场辩论和 AI 的历史一样久远。20 世纪 50 年代,人类开始探索如何创建可以思考的...

    磐创AI
  • 1+1>2:MIT&IBM提出结合符号主义和连接主义的高效、准确新模型

    人工智能应该复制人脑的哪一部分功能?这个问题的答案反映了一场辩论的焦点,这场辩论和 AI 的历史一样久远。20 世纪 50 年代,人类开始探索如何创建可以思考的...

    机器之心
  • 汇编语言第三版答案(王爽)

    汇编语言答案(王爽)  此文只是用来存个档,不喜勿喷 检测点1.1 (1)1个CPU的寻址能力为8KB,那么它的地址总线的宽度为 13位。 (2)1KB的存储器...

    Angel_Kitty
  • 我们怎么知道语言模型何时能正确识别呢?(CS CL)

    最近的研究表明,语言模型 (LM) 捕获了关于事实或常识的不同类型的知识。然而,没有模型是完美的,在许多情况下,它们仍然无法提供适当的答案。在这篇论文中,我们提...

    谭雪儿
  • 汇编基础

    ​ cup与所有内存之间:地址总线,数据总线,控制总线,每条线对应不同信息,指令与数据分开

    Dean0731
  • 你可以更善于社交吗? 将礼貌和积极性注入面向任务的会话代理中(CS CL)

    以目标为导向的对话代理在我们的日常生活中正变得越来越普遍。为了让这些系统吸引用户并实现他们的目标,他们需要表现出适当的社交行为,并提供信息丰富的回复,引导用户完...

    毛艺漩8078803
  • re 正则模块

    就其本质而言,正则表达式(或 RE)是一种小型的、高度专业化的编程语言,(在Python中)它内嵌在Python中,并通过 re 模块实现。正则表达式模式被编译...

    超蛋lhy
  • 未整理的计组复习笔记?

    计组是我听过的最脑阔疼的课。不过已经考过了orz以及,大家学的计组内容可能不一样,这篇复习包括的内容应该是比较简略的。

    gojam

扫码关注云+社区

领取腾讯云代金券