专栏首页arxiv.org翻译专栏多语种神经机器翻译的平衡训练(CS CL)
原创

多语种神经机器翻译的平衡训练(CS CL)

在训练多语言机器翻译(MT)模型时,我们面临着训练集不均衡的问题:有些语言的训练数据要比其他语言多得多。 标准做法是对资源较少的语言进行抽样,以增加代表性,抽样的程度对整体性能有很大的影响。在这篇文章中,我们提出了一种方法来代替自动学习如何通过一个数据记分器来加权训练数据,该记分器被优化以使所有测试语言的性能最大化。在一对多和多对一机器翻译环境下对两种语言集的实验表明,我们的方法不仅在平均性能方面始终优于启发式基线,而且对优化语言的性能提供了灵活的控制。

原文题目:Balancing Training for Multilingual Neural Machine Translation

原文:When training multilingual machine translation (MT) models that can translate to/from multiple languages, we are faced with imbalanced training sets: some languages have much more training data than others. Standard practice is to up-sample less resourced languages to increase representation, and the degree of up-sampling has a large effect on the overall performance. In this paper, we propose a method that instead automatically learns how to weight training data through a data scorer that is optimized to maximize performance on all test languages. Experiments on two sets of languages under both one-to-many and many-to-one MT settings show our method not only consistently outperforms heuristic baselines in terms of average performance, but also offers flexible control over the performance of which languages are optimized.

原文作者: Xinyi Wang

原文地址:https://arxiv.org/abs/2004.06748

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一种改进新产品销售预测的网络转移学习方法(CS LG)

    数据驱动方法——例如机器学习和时间序列预测——被广泛用于食品零售领域的销售预测。 然而,对于新推出的产品,缺乏足够的训练数据来训练准确的模型。 在这种情况下,实...

    用户7095611
  • 病人个人健康知识图表(CS AI)

    现有的患者数据分析平台无法整合具有上下文、个人和针对患者的信息。为了使推荐系统对查询做出适当的响应或从患者数据中获得有意义的见解,它应该考虑有关患者健康历史的个...

    用户7095611
  • 全球敏捷软件开发环境中的需求工程:一个多声音的文献综述协议(CS SE)

    上下文: 全球规模敏捷软件开发的需求工程和多声部文献审查的规划阶段。 目标: 制定一项规程,详细说明将遵循的计划,以便对全球规模化敏捷软件开发的需求工程进行多方...

    用户7095611
  • 多语种神经机器翻译的平衡训练(CS CL)

    在训练多语种机器翻译(MT)模型时,我们常面临着训练集不均衡的问题:有些语言的训练数据要比其他语言多得多。标准解决方法是对资源较少的语言进行上采样来优化表现,而...

    Elva
  • hbase_异常_01_Hbase: Failed to become active master

    参考:Hbase: Failed to become active master 的解释:

    shirayner
  • 原创译文 | 中国正在建设第一条5G智能高速公路

    本文为灯塔大数据原创内容,欢迎个人转载至朋友圈,其他机构转载请在文章开头标注:“转自:灯塔大数据;微信:DTbigdata”

    灯塔大数据
  • 他投下一颗炸弹

    了解后原来Y-3是出自做他的手,我的大多数衣服都是黑白灰基本款,对于他创建的品牌Yohji Yamamoto是更多是报以欣赏的态度,更好奇的是这个老人的成长经历...

    麦时
  • 在python中利用pycharm自定义代码块教程(三步搞定)

    当我们在使用pycharm时,输入特殊的关键字会有提示,然后按enter就可以自动补全,如果我们经常需要输出重复的代码时,能否也利用这种方法来自动补全呢?

    砸漏
  • Spark 通过 spark-submit 设置日志级别

    Spark有多种方式设置日志级别,这次主要记录一下如何在spark-submit设置Spark的日志级别。

    董可伦
  • tf.broadcast_to()

    于小勇

扫码关注云+社区

领取腾讯云代金券