专栏首页机器之心学界 | 百度提出冷聚变方法:使用语言模型训练Seq2Seq模型

学界 | 百度提出冷聚变方法:使用语言模型训练Seq2Seq模型

选自arXiv

机器之心编译

参与:路雪、蒋思源

近日,百度研究院发表论文提出冷聚变(Cold Fusion)方法,即在 Seq2Seq 模型训练过程中加入语言模型,实现更快地收敛、更好的泛化,以及仅需少量标注数据即可实现向新域的完全迁移。机器之心对这篇论文进行了介绍。

论文地址:https://arxiv.org/abs/1708.06426

摘要:带有注意力机制的序列到序列(Seq2Seq)模型在多项生成自然语言句子的任务中表现优秀,如机器翻译、图像字幕生成和语音识别。在以语言模型的形式利用非标注数据后,其性能进一步提高。在本研究中,我们提供了一种冷聚变(Cold Fusion)方法,并展示该方法在语音识别中的有效性。我们展示了使用冷聚变方法的 Seq2Seq 模型能够更好地利用语言信息,并且能够实现(1)更快收敛、更好的泛化;(2)使用少于 10% 的标注数据进行训练时能几乎完成向新的域的完全迁移。

表 1. 深度聚变(Deep Fusion)和冷聚变的预测示例。

图 1. 基线模型(橙色)和我们提出的模型(紫色)在开发集上的交叉熵损失和迭代数之间的函数关系。使用语言模型的训练可以一定程度上加速收敛。

表 3. 论文中讨论的不同模型的语音识别结果。

表 4. 解码器维度对该模型的性能影响。冷聚变模型的性能随着解码器变小而缓慢下降,这证明冷聚变模型的有效任务能力比无聚变的模型大得多。

表 5. 微调后的声学模型在目标训练数据的子集上的结果。最后一行代表在所有目标域数据上进行训练的注意力模型。

结论

在该研究中,我们展示了一种新型 Seq2Seq 通用模型架构,其解码器和预训练的语言模型一起训练。我们研究并确认,架构变化对该模型充分利用语言模型中的信息至关重要,这也帮助模型实现更好地泛化;通过利用 RNN 语言模型,冷聚变模型产生的词错率比深度聚变模型低 18%。此外,我们证明冷聚变模型能够更轻松地迁移至新的域,仅需要 10% 的标注数据,即几乎可完全迁移至新的域。

本文为机器之心编译,转载请联系本公众号获得授权。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 业界 | 蚂蚁金服首届ATEC开发者大赛人工智能大赛圆满落幕,一文详解最佳解题方案

    杭州·云栖大会期间,首届「ATEC 蚂蚁开发者大赛人工智能大赛」在 ATEC 展馆落下帷幕。

    机器之心
  • 学界 | UC Berkeley新研究:多视角图像3D模型重建技术

    选自BAIR 作者:Abhishek Kar 机器之心编译 参与:李泽南、蒋思源 想象一下图片中的椅子。人类具有无与伦比的推理能力,可以在看到单张图片的情况下想...

    机器之心
  • Diss所有深度生成模型,DeepMind说它们真的不知道到底不知道什么

    深度学习在应用层面获得了巨大成功,这些实际应用一般都希望利用判别模型构建条件分布 p(y|x),其中 y 是标签、x 是特征。但这些判别模型无法处理从其他分布中...

    机器之心
  • Kaggle大牛小姐姐自述:我是怎么成为竞赛中Top 0.3%的 | 干货攻略

    天天跟数据打交道的研究人员,都有一个成为Kaggle顶级大师(Grandmaster)的梦想。

    深度学习与Python
  • 机器学习工作流程(第1部分)

    在这篇文章中,我的目标是提出鸟瞰图,我将在后面的章节中详细讲解每个组件。

    人工智能资讯小编
  • Kaggle大牛小姐姐自述:我是怎么成为竞赛中Top 0.3%的 | 干货攻略

    天天跟数据打交道的研究人员,都有一个成为Kaggle顶级大师(Grandmaster)的梦想。

    量子位
  • 智能体的白日梦,谷歌大脑又出来PR文了?

    智能体能否在梦中学习?Yes! 白日梦是人类的专属?No! 这是谷歌大脑的又一篇 PR 文章吗?难说~ AI 科技评论按:继前段时间在 arxiv 上贴出《on...

    AI科技评论
  • DeepMind:实现通用语言智能我们还缺什么?

    2014年11月,那时候还没有被广泛认知为“深度学习教父”的Geoffrey Hinton,在国外网站Reddit回答网友提问的活动“AMA” (Ask Me ...

    新智元
  • 业界 | 蚂蚁金服首届ATEC开发者大赛人工智能大赛圆满落幕,一文详解最佳解题方案

    杭州·云栖大会期间,首届「ATEC 蚂蚁开发者大赛人工智能大赛」在 ATEC 展馆落下帷幕。

    机器之心
  • 谷歌大脑提出EfficientNet平衡模型扩展三个维度,取得精度-效率的最大化!

    今天要跟大家重磅介绍上午谷歌大脑新出的论文《EfficientNet: Rethinking Model Scaling for Convolutional N...

    CV君

扫码关注云+社区

领取腾讯云代金券