Facebook开源PyTorch版本fairseq翻译模型,训练速度提高50%

【新智元导读】FAIR的开源序列到序列(sequence-to-sequence)引擎现在可以在PyTorch使用了。FAIR今天发布了fairseq-py,这是一个用PyTorch实现的卷积seq2seq模型。fairseq-py是语言翻译以及其他 seq2seq 的NLP任务的一个很好的模型,新的工具包比以前的更高效率:生成翻译的速度比以前的提高了80%,训练速度提高了50%。

今年5月10日,Facebook AI 研究实验室(FAIR)发布了一项使用创新性的、基于卷积神经网络的方法来进行语言翻译的最新成果。Facebook 称,该研究取得了截止目前最高准确度,并且速度是基于循环神经网络(RNN)系统的9倍(谷歌的机器翻译系统使用的就是这一技术)。

今天开源的是一个PyTorch版本的fairseq。这个重新实现的原作者是Sergey Edunov,Myle Ott和Sam Gross。该工具包实现了 Convolutional Sequence to Sequence Learning(https://arxiv.org/abs/1705.03122)中描述的完全卷积模型(fully convolutional model),在单个机器上实现多GPU训练,并在CPU和GPU上实现快速 beam search 生成。我们提供英语到法语和英语到德语翻译的预训练模型。

引用

如果要在论文中使用这些代码,请按如下格式引用:

@inproceedings{gehring2017convs2s,
  author    = {Gehring, Jonas, and Auli, Michael and Grangier, David and Yarats, Denis and Dauphin, Yann N},
  title     = "{Convolutional Sequence to Sequence Learning}",
  booktitle = {Proc. of ICML},
  year      = 2017,
}

要求和安装步骤

  • 运行macOS或Linux的计算机
  • 为了训练新模型,你还需要一个NVIDIA GPU和NCCL
  • Python 3.6
  • PyTorch安装

目前,Fairseq-py需要GitHub库里的PyTorch。有多种安装方式,我们建议使用Miniconda3并按照说明安装:

  • 从 https://conda.io/miniconda.html 安装 Miniconda3; 创建并激活Python 3环境。
  • 安装PyTorch:
conda install gcc numpy cudnn nccl
conda install magma-cuda80 -c soumith
pip install cmake
pip install cffi

git clone https://github.com/pytorch/pytorch.git
cd pytorch
git reset --hard a03e5cb40938b6b3f3e6dbddf9cff8afdff72d1b
git submodule update --init
pip install -r requirements.txt

NO_DISTRIBUTED=1 python setup.py install

Clone GitHub 存储库并运行以下命令安装fairseq-py:

pip install -r requirements.txt
python setup.py build
python setup.py develop

快速开始

以下命令行工具可用:

  • python preprocess.py:数据预处理:构建词汇和二进制训练数据
  • python train.py:在一个或多个GPU上训练新模型
  • python generate.py:用训练好的模型翻译预处理的数据
  • python generate.py -i:使用训练好的模型翻译原始文本
  • python score.py:根据参考翻译对生成的翻译进行BLEU评分

评估预训练的模型

首先,下载一个预训练的模型及其词汇:

$ curl https://s3.amazonaws.com/fairseq-py/models/wmt14.en-fr.fconv-py.tar.bz2 | tar xvjf -

该模型使用字节对编码(BPE)词汇表,因此我们必须将该编码应用于源文本才能进行翻译。这可以通过使用wmt14.en-fr.fconv-cuda / bpecodes文件的apply_bpe.py脚本完成。@@ 用作连续标记,用 sed s / @@ // g 或将 --remove-bpe 标志传递给generate.py,原始文本可以很容易地恢复。在BPE之前,输入文本需要使用mosesdecoder中的tokenizer.perl进行标记化。

让我们使用python generate.py -i来生成翻译。在这里,我们使用beam的大小是5:

$ MODEL_DIR=wmt14.en-fr.fconv-py
$ python generate.py -i \
 --path $MODEL_DIR/model.pt $MODEL_DIR \
 --beam 5
| [en] dictionary: 44206 types
| [fr] dictionary: 44463 types
| model fconv_wmt_en_fr
| loaded checkpoint /private/home/edunov/wmt14.en-fr.fconv-py/model.pt (epoch 37)
> Why is it rare to discover new marine mam@@ mal species ?
S       Why is it rare to discover new marine mam@@ mal species ?
O       Why is it rare to discover new marine mam@@ mal species ?
H       -0.08662842959165573    Pourquoi est-il rare de découvrir de nouvelles espèces de mammifères marins ?
A       0 1 3 3 5 6 6 10 8 8 8 11 12

生成脚本产生四种类型的输出:以S为前缀的行显示了应用词汇表后提供的源语句(source sentence); O是原始来源句的副本(original source sentence); H是平均 log-likelihood以外的假设(hypothesis); 而A是假设中每个单词的注意力最大值( attention maxima),包括文本中省略的句末标记。

下面是预训练模型列表。

训练一个新模型

数据预处理

Fairseq-py源码分发包含了一个用于IWSLT 2014德语 - 英语语料库的预处理脚本示例。预处理和二值化数据如下:

$ cd data/
$ bash prepare-iwslt14.sh
$ cd ..
$ TEXT=data/iwslt14.tokenized.de-en
$ python preprocess.py --source-lang de --target-lang en \
  --trainpref $TEXT/train --validpref $TEXT/valid --testpref $TEXT/test \
  --thresholdtgt 3 --thresholdsrc 3 --destdir data-bin/iwslt14.tokenized.de-en

这将会将可用于模型训练的二值化数据写入 data-bin/iwslt14.tokenized.de-en。

训练

使用python train.py来训练一个新模型。这里有几个适用于IWSLT 2014数据集的示例设置:

$ mkdir -p checkpoints/fconv
$ CUDA_VISIBLE_DEVICES=0 python train.py data-bin/iwslt14.tokenized.de-en \
  --lr 0.25 --clip-norm 0.1 --dropout 0.2 --max-tokens 4000 \
  --arch fconv_iwslt_de_en --save-dir checkpoints/fconv

默认情况下,python train.py将使用机器上的所有可用GPU。使用CUDA_VISIBLE_DEVICES 环境变量选择特定的GPU和/或更改将要使用的GPU设备的数量。

另请注意,batch大小是根据每个batch的最大token数(--max-tokens)来指定的。你可能需要使用较小的值,具体取决于系统上可用的GPU内存。

生成

一旦模型训练好,就可以使用python generate.py(二进制数据)或python generate.py -i(原始文本)生成翻译:

$ python generate.py data-bin/iwslt14.tokenized.de-en \
  --path checkpoints/fconv/checkpoint_best.pt \
  --batch-size 128 --beam 5
  | [de] dictionary: 35475 types
  | [en] dictionary: 24739 types
  | data-bin/iwslt14.tokenized.de-en test 6750 examples
  | model fconv
  | loaded checkpoint trainings/fconv/checkpoint_best.pt
  S-721   danke .
  T-721   thank you .
  ...

如果要仅使用CPU生成翻译,请使用--cpu flag。可以使用--remove-bpe flag 来删除BPE连续标记。

预训练模型

我们提供以下预训练的完全卷积序列到序列模型:

  • wmt14.en-fr.fconv-py.tar.bz2:用于WMT14英语 - 法语的预训练模型,包括词汇
  • wmt14.en-de.fconv-py.tar.bz2:用于WMT14英语 - 德语的预训练模型,包括词汇

此外,我们还提供了上述模型的预处理和二值化测试集:

  • wmt14.en-fr.newstest2014.tar.bz2:WMT14英语 - 法语的newstest2014测试集
  • wmt14.en-fr.ntst1213.tar.bz2:WMT14英语 - 法语的newstest2012和newstest2013测试集
  • wmt14.en-de.newstest2014.tar.bz2:WMT14英语 - 德语的newstest2014测试集

生成二值化测试集可以像下面这样以batch的模式运行,例如,在GTX-1080ti的英语-法语:

$ curl https://s3.amazonaws.com/fairseq-py/models/wmt14.en-fr.fconv-py.tar.bz2 | tar xvjf - -C data-bin
$ curl https://s3.amazonaws.com/fairseq-py/data/wmt14.en-fr.newstest2014.tar.bz2 | tar xvjf - -C data-bin
$ python generate.py data-bin/wmt14.en-fr.newstest2014  \
  --path data-bin/wmt14.en-fr.fconv-py/model.pt \
  --beam 5 --batch-size 128 --remove-bpe | tee /tmp/gen.out
...
| Translated 3003 sentences (95451 tokens) in 81.3s (1174.33 tokens/s)
| Generate test with beam=5: BLEU4 = 40.23, 67.5/46.4/33.8/25.0 (BP=0.997, ratio=1.003, syslen=80963, reflen=81194)

# Scoring with score.py:
$ grep ^H /tmp/gen.out | cut -f3- > /tmp/gen.out.sys
$ grep ^T /tmp/gen.out | cut -f2- > /tmp/gen.out.ref
$ python score.py --sys /tmp/gen.out.sys --ref /tmp/gen.out.ref
BLEU4 = 40.23, 67.5/46.4/33.8/25.0 (BP=0.997, ratio=1.003, syslen=80963, reflen=81194)

GitHub地址:https://github.com/facebookresearch/fairseq-py

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

干货 | 完全图解RNN、RNN变体、Seq2Seq、Attention机制

AI科技评论按:本文作者何之源,原文载于知乎专栏AI Insight,AI科技评论获其授权发布。 本文主要是利用图片的形式,详细地介绍了经典的RNN、RNN几个...

55340
来自专栏新智元

【孙富春】新一代机器人:云脑机器人

清华大学计算机科学与技术系;智能技术与系统国家重点实验室;清华信息科学与技术国家实验室 ? 【孙富春】清华大学计算机科学与技术系教授,博士生导师,全国优秀博士论...

46180
来自专栏人工智能快报

IBM类脑计算机正式上市

据《计算机世界》网站2016年3月31日报道,IBM迄今为止最大型的类脑计算机NS16e正式上市。首个采购NS16e的买家是美国劳伦斯·利弗莫尔国家实验室,IB...

42650
来自专栏新智元

【AI 引擎】前谷歌VP:机器实现情感智能化 | 微软发布Speaker Recognition | 五角大楼在AI武器上大投资

1.前谷歌副总裁:机器能在2016年实现情感上的智能化 ? Andrew Moore —卡内基梅隆大学计算机科学院院长,同时也是谷歌的前副总裁。他预测2016年...

34060
来自专栏新智元

【AI 引擎】微软邓力荣获IEEE信号处理技术成就奖 | NASA与索尼合作训练太空机器人 |起亚、福特开始测试无人车技术

1.微软研究院首席研究员邓力荣获2015年IEEE信号处理技术成就奖 ? 凭借在深度学习与自动语音识别方向做出的杰出贡献,邓力荣获今年的IEEE技术成就奖。邓力...

29940
来自专栏AI科技评论

动态 | 学界与业界又一次联手:IBM和MIT宣布合作建立AI实验室

AI科技评论消息,北京时间9月7日下午,IBM宣布在未来十年,计划投资2.4亿美元,与麻省理工学院共同建立IBM –MIT沃森AI实验室,该实验室位于剑桥的IB...

33860
来自专栏新智元

【AI 引擎】Windows 10的机器学习能力 | 30年内,长生不老成真? | 群通信机器人方向实现突破

1.Windows 10的Windows Defender机器学习能力 ? 今天微软club网站上公布了Windows 10系统Windows Defender...

34550
来自专栏新智元

AI 淘金热 | 机器学习创业机会在哪里?

机器学习淘金热正在到来!Libby Kinsey 是 Nesta 资本的投资经理,关注技术创新已经有 12 年。她根据自己的观察,总结出这波淘金热的创业机...

41860
来自专栏AI科技评论

开发 | MxNet李沐:机器学习简介——动手学深度学习0.1

AI科技评论注:本文作者为深度学习平台MxNet的作者李沐,文章由AI科技评论整理自作者的机器学习网站“动手学深度学习”。在这个网站中,李沐介绍了他做这个项目的...

73340
来自专栏AI科技评论

回顾 | Yoshua Bengio暑期课程《Deep Learning for AI》核心要点总结(附PPT下载)

AI 科技评论按:在刚刚结束的巴黎综合理工学院举行的 Data Science 暑期学校中,Yoshua Bengio 以《Deep Learning for ...

37250

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励