专栏首页arxiv.org翻译专栏输入:通过输入和动态规划的序列建模(CS SD)
原创

输入:通过输入和动态规划的序列建模(CS SD)

提出了一种通过输入迭代生成输出序列的神经序列模型——输入器。输入是一个迭代生成模型,只需要与输入或输出标记的数量无关的固定数量的生成步骤。输入端可以被训练成在输入和输出序列以及所有可能的生成顺序之间的所有可能的对齐上近似地边缘化。提出了一种易于处理的动态规划训练算法,该算法给出了对数边际似然的一个下界。当应用于端到端语音识别时,输入器的性能优于先前的非自回归模型,并取得了与自回归模型相竞争的结果。在LibriSpeech测试-其他,输入达到11.1 WER,优于CTC的13.0 WER和seq2seq的12.5 WER。

原文题目:Imputer: Sequence Modelling via Imputation and Dynamic Programming

原文:This paper presents the Imputer, a neural sequence model that generates output sequences iteratively via imputations. The Imputer is an iterative generative model, requiring only a constant number of generation steps independent of the number of input or output tokens. The Imputer can be trained to approximately marginalize over all possible alignments between the input and output sequences, and all possible generation orders. We present a tractable dynamic programming training algorithm, which yields a lower bound on the log marginal likelihood. When applied to end-to-end speech recognition, the Imputer outperforms prior non-autoregressive models and achieves competitive results to autoregressive models. On LibriSpeech test-other, the Imputer achieves 11.1 WER, outperforming CTC at 13.0 WER and seq2seq at 12.5 WER.

原文作者:William Chan, Chitwan Saharia, Geoffrey Hinton, Mohammad Norouzi, Navdeep Jaitly

原文地址:http://cn.arxiv.org/abs/2002.08926

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 专题报告:海洋生物声学的探测与分类与深度学习(CS SD)

    019年11月21-22日,约30名研究人员齐聚加拿大BC省维多利亚州,参加由子午线组织、加拿大海洋网主办的“海洋生物声学深度学习检测与分类”研讨会。出席了研讨...

    用户6853689
  • 芬兰语建模与深层变压器模型(CS SD)

    在LSTM被认为是主导模型体系结构之后的很长一段时间,转换器在语言建模中占据了中心舞台。在这个课题中,我们研究了BRET转换器结构和XL转换器结构在语言建模任务...

    用户6853689
  • 循环热管的动态状态空间建模与基于模型的控制设计(CS SY)

    对于航空航天、汽车或服务器系统中电子元件的热控制,散热器通常远离热源。因此,热传导系统是有效冷却电子元件所必需的。循环热管(LHPs)就是这样的传热系统,它利用...

    用户6853689
  • linux基本命令

    div class="cke_widget_wrapper cke_widget_block cke_widget_codeSnippet cke_widget...

    对弈
  • 揭秘捷豹路虎常熟工厂:整车是这样造出来的…

    位于常熟 号称“全球样板工厂” 的奇瑞捷豹路虎工厂 到这不看你会后悔! ▼ ? ? ? ? ? 冲压车间布局/生产节拍达20SPM ▼ ? ? ? ?...

    机器人网
  • 用强化学习模拟进化 (CS AI)

    进化在地球上产生了人类和动物的智慧。我们认为,发展人工类人智能的道路将通过模拟自然界中的进化过程。在自然界中,驱动大脑发展的过程有两个:进化和学习。进化是缓慢的...

    用户7095611
  • 天天用百度,你了解李彦宏创业史吗

    “百度”二字,来自于八百年前南宋词人辛弃疾的一句词:众里寻他千百度。这句话描述了词人对理想的执着追求!百度作为全球最大的中文搜索引擎,每天提供百亿次的搜索服务。...

    张叔叔讲互联网
  • Xamarin Evolve 2013

    在不久前结束的Xamarin Evolve 2013开发者大会上,Xamarin团队成员向600多名C#开发者介绍了该产品的新功能并通过授课的方式让大家更加了解...

    张善友
  • 打包python为windows可执行程序

    虽然这个是个很基础的问题,网上也有很多文章,但自己动手和网上有文章是两回事,自己动了手,有没有记录、下次是否还能解决又是另外一回事。

    efonfighting
  • 实习入职第五天:参数中的可变参数等小知识点

    Returns the position of the enum constant in the declaration. The first constant...

    wust小吴

扫码关注云+社区

领取腾讯云代金券