专栏首页arxiv.org翻译专栏基于变压器的文本生成的神经规则执行跟踪机

基于变压器的文本生成的神经规则执行跟踪机

序列到序列(Sequence-to-Sequence, Seq2Seq)神经文本生成模型,特别是预先训练过的神经文本生成模型(如BART和T5),在各种自然语言生成任务中表现出令人信服的性能。然而,这些模型的黑箱特性限制了它们在需要执行特定规则(例如可控约束、先验知识)的任务中的应用。之前的作品要么设计特定的模型结构(如Copy Mechanism,对应于规则“生成的输出应该包含源输入中的特定单词”),要么实现专门的推理算法(如Constrained Beam Search),通过文本生成来执行特定的规则。这些方法需要逐例仔细设计,并且很难同时支持多个规则。在本文中,我们提出了一种新的模块叫做神经规则执行跟踪机,即NRETM,它可以装备到各种基于变压器的发电机中,同时利用多个规则来指导神经生成模型以统一和可扩展的方式获得更高的生成性能。在几个基准上的大量实验验证了我们提出的模型在可控和一般文本生成任务中的有效性。

Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation

Sequence-to-Sequence (Seq2Seq) neural text generation models, especially the pre-trained ones (e.g., BART and T5), have exhibited compelling performance on various natural language generation tasks. However, the black-box nature of these models limits their application in tasks where specific rules (e.g., controllable constraints, prior knowledge) need to be executed. Previous works either design specific model structures (e.g., Copy Mechanism corresponding to the rule “the generated output should include certain words in the source input”) or implement specialized inference algorithms (e.g., Constrained Beam Search) to execute particular rules through the text generation. These methods require the careful design case-by-case and are difficult to support multiple rules concurrently. In this paper, we propose a novel module named Neural Rule-Execution Tracking Machine, i.e., NRETM, that can be equipped into various transformer-based generators to leverage multiple rules simultaneously to guide the neural generation model for superior generation performance in an unified and scalable way. Extensive experiments on several benchmarks verify the effectiveness of our proposed model in both controllable and general text generation tasks.

原文链接:https://arxiv.org/pdf/2107.13077.pdf

原文作者:Yufei Wang, Can Xu, Huang Hu, Chongyang Tao, Stephen Wan, Mark Dras, Mark Johnson, Daxin Jiang

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 用于神经网络机器翻译的全并行文本生成

    Salesforce 正宣布一个能够克服这个限制的神经网络机器翻译系统,以完全并行的方式一次翻译整个句子。

    QiqiHe
  • 用于神经网络机器翻译的全并行文本生成

    在过去的几年里,神经网络为文本分类和问题回答等自然语言任务的准确性和质量带来了快速的提高。深度学习导致的令人印象深刻的结果的一个领域是需要机器生成自然语言文本的...

    WZEARW
  • [计算机视觉论文速递] 2018-06-19 目标检测专场

    这篇文章有 4篇论文速递,都是目标检测方向,包括行人检测、车辆检测、指纹检测和目标跟踪等。

    Amusi
  • NIPS2018 | 腾讯AI Lab入选20篇论文,含2篇Spotlight

    ? 被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单,此次为第32届会议,将于 12 月 3 日至 8 日在加拿大蒙特利尔举办。 ...

    腾讯技术工程官方号
  • NIPS2018 | 腾讯AI Lab入选20篇论文,含2篇Spotlight

    被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单,此次为第32届会议, 12 月 3 日至 8 日在加拿大蒙特利尔举办。 腾讯AI...

    腾讯高校合作
  • 学界 | 腾讯AI Lab 20篇论文入选NIPS2018,含2篇Spotlight

    被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单,此次为第32届会议,将于 12 月 3 日至 8 日在加拿大蒙特利尔举办。

    AI科技评论
  • 自动驾驶核心技术之三:环境感知

    自动驾驶四大核心技术,分别是环境感知、精确定位、路径规划、线控执行。环境感知是其中被研究最多的部分,不过基于视觉的环境感知是无法满足无人驾驶要求的。

    用户1908973
  • NIPS2018 | 腾讯AI Lab入选20篇论文,含2篇Spotlight

    被誉为神经计算和机器学习领域两大顶级会议之一的NIPS于近日揭晓收录论文名单,此次为第32届会议,将于 12 月 3 日至 8 日在加拿大蒙特利尔举办。

    AI科技大本营
  • 论文 | 你知道吗?VR或AR的精度和分辨率可以进一步提升!

    联合编译:章敏、陈圳 摘要 人眼追踪技术在移动和可穿戴式系统领域正变得越来越重要,尤其是对于新兴的虚拟和增强现实应用(VR和AR)。目前对于可穿戴AR和VR耳机...

    AI科技评论
  • 改进反向传播算法实现高效训练,端到端的目标跟踪结构,微型机器人的新视觉系统 | AI一周学术

    呜啦啦啦啦啦啦啦大家好,本周的AI Scholar Weekly栏目又和大家见面啦!

    大数据文摘
  • 你听过无人驾驶,但你了解无人驾驶的算法吗?

    算法系统由几部分组成:第一,传感,并从传感器原始数据中提取有意义信息;第二,感知,以定位无人车所在位置及感知现在所处的环境;第三,决策,以便可靠、安全地抵达目的...

    博文视点Broadview
  • 一文讲述如何将预测范式引入到机器学习模型中

    用户1263954
  • 一文讲述如何将预测范式引入到机器学习模型中

    本文构建了一个在视觉条件下以感官信息作为输入的预测模型。由于无法准确建立感官信息的运动方程,只能通过机器学习来完成。

    AI科技大本营
  • 详解计算机视觉五大技术:图像分类、对象检测、目标跟踪、语义分割和实例分割

    译者 | 王柯凝 【 AI 科技大本营导读】目前,计算机视觉是深度学习领域最热门的研究领域之一。计算机视觉实际上是一个跨领域的交叉学科,包括计算机科学(图形、算...

    AI科技大本营
  • 深度多目标跟踪算法综述

    原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

    SIGAI学习与实践平台
  • 学界 | 伯克利强化学习新研究:机器人只用几分钟随机数据就能学会轨迹跟踪

    机器之心
  • 详解计算机视觉五大技术:图像分类、对象检测、目标跟踪、语义分割和实例分割

    目前,计算机视觉是深度学习领域最热门的研究领域之一。计算机视觉实际上是一个跨领域的交叉学科,包括计算机科学(图形、算法、理论、系统、体系结构),数学(信息检索、...

    昱良
  • 深度学习盛会 ICLR-17 最佳论文出炉!机器自主编程 NPI 再称雄

    1 新智元编译 来源:iclr.cc、openreview.net 编译:闻菲、张易、刘小芹 【新智元导读】深度学习盛会 ICLR 2017 日程及最佳论文...

    新智元
  • 资源 | 如何开启深度学习之旅?这三大类125篇论文为你导航(附资源下载)

    选自Github 作者:songrotek 机器之心编译 参与:晏奇、黄小天 如果你现在还是个深度学习的新手,那么你问的第一个问题可能是「我应该从哪篇文章开始...

    机器之心

扫码关注云+社区

领取腾讯云代金券