前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >学界 | 迁移学习 + BPE,改进低资源语言的神经翻译结果

学界 | 迁移学习 + BPE,改进低资源语言的神经翻译结果

作者头像
机器之心
发布2018-05-08 12:08:39
8860
发布2018-05-08 12:08:39
举报
文章被收录于专栏:机器之心

选自arXiv

作者:Toan Q Nguyen、David Chiang

机器之心编译

参与:李亚洲、路雪

在本论文中,作者结合迁移学习与 BPE 方法,使用低资源的相关语言的平行数据改进同样低资源语言的神经机器翻译结果。

论文:Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation

链接:https://arxiv.org/abs/1708.09803

摘要:我们提出了一种简单的方法,对一种低资源的语言对的神经机器翻译结果,使用同样低资源的相关语言的平行数据帮助改进。这种方法主要基于 Zoph 等人提出的迁移方法,但他们的方法忽略了源词汇重复,我们的方法对此进行了开拓。首先,我们使用 BPE(字节对编码)的方式分离单词来增加单词重复。然后,在第一种语言对上训练模型,将其参数(包括源词嵌入)迁移到另一个模型,再在第二种语言对上继续训练。我们的实验证明,虽然 BPE 方法和迁移学习单独用的时候表现不一致,但一起用时能提高 1.8 个 BLEU 值。

表 1:土耳其语与乌兹别克语中拥有同样词根的单词示例

表 2:训练数据中的 token 与句子的数量

图 1:不同设置下的 Tokenized dev BLEU 得分。注意:baseline = 只训练子模型;transfer = 先训练父模型,再训练子模型;+freeze = 在子模型中 freeze 目标词嵌入

表 4:在父模型中出现的源词嵌入占子模型源词嵌入的比例

本文为机器之心编译,转载请联系本公众号获得授权。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-10-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 机器之心 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
机器翻译
机器翻译(Tencent Machine Translation,TMT)结合了神经机器翻译和统计机器翻译的优点,从大规模双语语料库自动学习翻译知识,实现从源语言文本到目标语言文本的自动翻译,目前可支持十余种语言的互译。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档