专栏首页arxiv.org翻译专栏翻译空间的显式表示:机器翻译评估的自动释义(CS.CL)
原创

翻译空间的显式表示:机器翻译评估的自动释义(CS.CL)

根据之前关于自动释义的工作,我们使用最先进的神经意译技术生成额外参考文献来评估了改进BLEU的可行性(Papineni et al., 2002)。我们探讨了不同的意译在多大程度上能够充分覆盖有效翻译的空间,并与另一种受MT输出限制的意译生成方法进行了比较。我们比较了这两种方法的多样性,以及BLEU与人类对MT质量判断的相关性的改善。我们对所有英语方向的WMT19指标任务进行的实验显示,令人有些意外的是,添加不同的释义,甚至是那些由人类产生的释义,只会导致BLEU与人类判断之间的相关性出现微小的、不一致的变化,这表明BLEU正确利用多个引用的能力是有限的

原文题目:Explicit Representation of the Translation Space: Automatic Paraphrasing for Machine Translation Evaluation

原文:Following previous work on automatic paraphrasing, we assess the feasibility of improving BLEU (Papineni et al., 2002) using state-of-the-art neural paraphrasing techniques to generate additional references. We explore the extent to which diverse paraphrases can adequately cover the space of valid translations and compare to an alternative approach of generating paraphrases constrained by MT outputs. We compare both approaches to human-produced references in terms of diversity and the improvement in BLEU's correlation with human judgements of MT quality. Our experiments on the WMT19 metrics tasks for all into-English language directions show that somewhat surprisingly, the addition of diverse paraphrases, even those produced by humans, leads to only small, inconsistent changes in BLEU's correlation with human judgments, suggesting that BLEU's ability to correctly exploit multiple references is limited

原文作者:Rachel Bawden, Biao Zhang, Lisa Yankovskaya, Andre Tättar, Matt Post

原文地址:https://arxiv.org/abs/2004.14989

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 网络出版商RTB收入的实时优化(CS.GT)

    本文描述了一个引擎优化网站出版商收入从二次拍卖。这种拍卖方式被广泛用于销售在线广告空间,其机制称为实时竞价(RTB)。在这些拍卖中优化是至关重要的,因为设置适当...

    用户7236395
  • 匹配队列、灵活性和激励机制 (CS.GT)

    在拼车和自由职业平台等在线市场的激励下,我们研究了双向匹配市场,在这种市场中,代理在对不同类型的工作的兼容性上具有异质性:灵活的代理可以完成任何工作,而每个专业...

    用户7236395
  • 控制、生成、扩充:一个可伸缩的多属性文本生成框架(CS.CL)

    本文提出了一种基于多属性控制的文本生成方法。我们介绍了CGA,一个可变的自动编码器的架构,以控制,产生,并扩大文本。通过将对抗性学习与上下文感知损失相结合,CG...

    用户7236395
  • 从人体密集联系的部位学习3D人体形状和姿态(CS CV)

    尽管通过最新基于学习的方法取得了有价值的成果,但使用单像重建3D人体形状和姿态仍具有挑战性。常见的不对齐问题的出现是由于图像到模型空间的映射是高度非线性的,并且...

    DANDAN用户6837186
  • 如何在SAP WebClient UI里创建柱状图(bar chart)

    Recently I am asked by my manager to give him a report containing the number of ...

    Jerry Wang
  • 学习超声视频表现形式的自我监督方法(CS.CV)

    深度学习的最新进展在医学图像分析方面取得了令人鼓舞的性能,而在大多数情况下,必须由人类专家提供真实的注解来训练深度模型。在实践中,这样的注释收集起来昂贵并且对于...

    蔡小雪7100294
  • 用户注意力与行为在虚拟现实艺术中相遇(CS HC)

    随着消费者虚拟现实(VR)耳机和创意工具的激增,内容创作者已开始尝试使用沉浸式媒体尝试新形式的交互式受众体验。 了解虚拟环境中的用户注意力和行为可以极大地指导V...

    小童
  • 原创译文 | 区块链技术将引入游戏中!期待吗?

    导读:上一期了解了关于有感知力的AI的相关介绍,今天我们来了解一下区块链技术应用到游戏的相关内容(文末更多往期译文推荐) 在以往游戏过程中,购买游戏内物品的概念...

    灯塔大数据
  • 在Go中使用服务对象模式

    NOTE: Most of the code and ideas in this post are things I have been experimenti...

    李海彬
  • North American versus European distribution systems

    Layouts, configurations, and applications

    仇诺伊

扫码关注云+社区

领取腾讯云代金券