专栏首页arxiv.org翻译专栏基于Markov变换的级联文本生成(CS CL)
原创

基于Markov变换的级联文本生成(CS CL)

两种主要的神经文本生成方法是完全自回归模型,使用串行波束搜索解码,和非自回归模型,使用无输出依赖的并行解码。提出了一种具有次线性并行时间生成的自回归模型。考虑到上下文有界的条件随机场可以并行解码,我们提出了一种高效的级联解码方法来产生高质量的输出。为了参数化这个级联,我们引入了一个Markov变换器,一个流行的完全自回归模型的变体,它允许我们同时解码特定的自回归上下文截断。这种方法只需要对标准的自回归训练稍加修改,同时与五个机器翻译数据集上的现有方法相比,显示出具有竞争力的准确性/速度折衷。

原文标题:Cascaded Text Generation with Markov Transformers

原文:The two dominant approaches to neural text generation are fully autoregressive models, using serial beam search decoding, and non-autoregressive models, using parallel decoding with no output dependencies. This work proposes an autoregressive model with sub-linear parallel time generation. Noting that conditional random fields with bounded context can be decoded in parallel, we propose an efficient cascaded decoding approach for generating high-quality output. To parameterize this cascade, we introduce a Markov transformer, a variant of the popular fully autoregressive model that allows us to simultaneously decode with specific autoregressive context cutoffs. This approach requires only a small modification from standard autoregressive training, while showing competitive accuracy/speed tradeoff compared to existing methods on five machine translation datasets.

原文作者:Yuntian Deng, Alexander M. Rush

原文地址:https://arxiv.org/abs/2006.01112

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • BIBO稳定性的热带几何学方法(CS CG)

    给定Laurent多项式F及其变形虫AF,讨论涉及具有合理传递函数的多线性时定常系统的BIBO稳定性问题。我们针对原点0相对于变形虫AF的位置,针对BIBO强或...

    蔡秋纯
  • 熵增强的熵正规强化学习以及从策略梯度到Q学习的连续路径(CS ML)

    已知增加熵以奖励将贪婪的argmax策略软化为softmax策略。 重新构造了熵增强,并导致有动机以KL散度的形式向目标函数引入附加的熵项,以使优化过程规则化。...

    蔡秋纯
  • 计算RAM(CRAM)中尖峰神经网络的推理与学习引擎(CS ET)

    尖峰神经网络(SNN)是一种受生物启发的计算模型,能够模拟人脑和类脑结构中的神经计算。主要承诺是非常低的能源消耗。不幸的是,基于Von Neumann体系结构的...

    蔡秋纯
  • 清华大学出版的这本Python书籍,值得每个学Python的人阅读,推荐

    这是一本学习Python的人必读的一本书,同时它也是计算机专业的本科生程序设计教材,以及研究生的必读书目。

    Python编程大咖
  • TOP50 Python可视化经典案例下(附源码,建议收藏)

    昨天行哥给大家统计了数据可视化前30张图表代码和案例给大家,今天把分享Python可视化案例TOP 50下,如果想转行做数据分析,这两篇推文强烈建议收藏,对于学...

    行哥玩Python
  • 数据分析最有用的Top 50 Matplotlib图(带有完整的Python代码)(下)

    昨天我们跟大家分享了50个Matplotlib可视化 - 主图(带有完整的Python代码)上 ,详情链接请戳:50个Matplotlib可视化 - 主图(带...

    Datawhale
  • 新加坡创业扶持计划一览

    在发展科技产业问题上,新加坡可能是世界上最积极的政府:在扶持创业方面,新加坡投入了巨额资金来打造本国的硅谷。 当然,新加坡并非选举政治,这一点很有帮助,这意味...

    点滴科技资讯
  • Docker Data Center系列(四)- 离线安装UCP和DTR

    羽客
  • <progress>标签

    <progress> 标签用于显示任务的进度。可使用<progress>标签显示JavaScript中耗费时间的函数进程。

    Html5知典
  • 正确甄别API、REST API、RESTful API和Web Service之间的异同

    看到API你会想起什么?是接口、第三方调用、还是API文档?初看你可能会觉得这太熟悉了,这不是系统开发日常系列吗?但你仔细想一想,你会发现API的概念在你脑海里...

    IT大咖说

扫码关注云+社区

领取腾讯云代金券