专栏首页目标检测和深度学习Github 项目推荐 | 用 Keras 实现的神经网络机器翻译

Github 项目推荐 | 用 Keras 实现的神经网络机器翻译

本库是用 Keras 实现的神经网络机器翻译,查阅库文件请访问:

https://nmt-keras.readthedocs.io/

Github 页面:

https://github.com/lvapeab/nmt-keras

如过你需要在研究中使用本工具库,请引用以下论文:

@misc{nmt-keras2017,
  author = {Peris, {\'A}lvaro},
  title = {{NMT}-{K}eras},
  year = {2017},
  publisher = {GitHub},
  note = {GitHub repository},
  howpublished = {\url{https://github.com/lvapeab/nmt-keras}},
}

安装

假设已经安装 pip,请运行:

git clone https://github.com/lvapeab/nmt-keras
cd nmt-keras
pip install -r requirements.txt

获取运行该库所需要的软件包。

需求

安装 NMT-Keras 需要以下的库

  • 我们的 Keras 版本(推荐版本 2.0.7 或更新版本) https://github.com/MarcBS/keras
  • Multimodal Keras Wrapper(2.0 版或更新版本,文档和教程) https://github.com/lvapeab/multimodal_keras_wrapper
  • Coco-caption 评估套件(只需执行评估) https://github.com/lvapeab/coco-caption/tree/master/pycocoevalcap/

用法:

  1. 在 config.py 脚本中设置一个训练配置。请查阅文档(https://github.com/lvapeab/nmt-keras/blob/master/examples/documentation/config.md)获取有关每个特定超参数的详细信息。您也可以在按照语法 Key = Value 调用 main.py 脚本时指定参数。
  2. 开始训练!:
python main.py

解码

一旦我们的模型开始训练,我们就可以使用 sample_ensemble.py 脚本翻译新文本。有关此脚本的更多详细信息,请参阅 ensembling_tutorial:

https://github.com/lvapeab/nmt-keras/blob/master/examples/documentation/ensembling_tutorial.md

总之,如果我们想使用前三个 epoch 的模型来翻译 examples / EuTrans / test.en 文件,只需运行:

python sample_ensemble.py 
             --models trained_models/tutorial_model/epoch_1 \ 
                      trained_models/tutorial_model/epoch_2 \
             --dataset datasets/Dataset_tutorial_dataset.pkl \
             --text examples/EuTrans/test.en

评分

score.py(https://github.com/lvapeab/nmt-keras/blob/master/score.py)脚本可用于获取平行语料库的概率(-log)。 其语法如下:

python score.py --help
usage: Use several translation models for scoring source--target pairs
       [-h] -ds DATASET [-src SOURCE] [-trg TARGET] [-s SPLITS [SPLITS ...]]
       [-d DEST] [-v] [-c CONFIG] --models MODELS [MODELS ...]
optional arguments:
    -h, --help            show this help message and exit
    -ds DATASET, --dataset DATASET
                            Dataset instance with data
    -src SOURCE, --source SOURCE
                            Text file with source sentences
    -trg TARGET, --target TARGET
                            Text file with target sentences
    -s SPLITS [SPLITS ...], --splits SPLITS [SPLITS ...]
                            Splits to sample. Should be already includedinto the
                            dataset object.
    -d DEST, --dest DEST  File to save scores in
    -v, --verbose         Be verbose
    -c CONFIG, --config CONFIG
                            Config pkl for loading the model configuration. If not
                            specified, hyperparameters are read from config.py
    --models MODELS [MODELS ...]
                            path to the models

本文分享自微信公众号 - 目标检测和深度学习(The_leader_of_DL_CV),作者:孔令双

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-03-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习图像标注工具

    对于监督学习算法而言,数据决定了任务的上限,而算法只是在不断逼近这个上限。世界上最遥远的距离就是我们用同一个模型,但是却有不同的任务。但是数据标注是个耗时耗力的...

    朱晓霞
  • 本周 Github 精选:13 款炼丹利器,有开源工具包也有超大数据集

    朱晓霞
  • 深度学习TensorFlow的55个经典案例

    本文是TensorFlow实现流行机器学习算法的教程汇集,目标是让读者可以轻松通过清晰简明的案例深入了解 TensorFlow。这些案例适合那些想要实现一些 ...

    朱晓霞
  • Github 项目推荐 | 用 Keras 实现的神经网络机器翻译

    本库是用 Keras 实现的神经网络机器翻译,查阅库文件请访问: https://nmt-keras.readthedocs.io/ Github 页面: ht...

    AI研习社
  • 解读 | 6个问题深度解读CPU漏洞

    近日,谷歌Project Zero安全团队公布了两组CPU特性漏洞,分别命名为Meltdown和Spectre,安恒信息应急响应中心于日前已关注此漏洞并发布漏洞...

    安恒信息
  • 独家 | 脑洞大开!机器学习与AI突破(附链接)

    本文介绍了近期在机器学习/人工智能领域一些非常有创意的突破,每一个都脑洞大开,不管是否是相关从业人员都值得一读。

    数据派THU
  • Windows Server 2008与2012建立林信任关系

    当公司发展规模较大后,会有多个分公司或者合并收购其他公司的情况出现,这时候就会涉及到多个域以及员工工作调离的情况,这里就会牵涉到用户和计算机跨域的迁移。要跨域迁...

    李珣
  • B站收藏 8.3w+,这门神课拯救了我薄弱的计算机基础

    时间越长好像越明白基础知识和原理的重要性,这样说起来简单,但是其中的枯燥就让很多摩拳擦掌的同学折戟沉沙。

    猴哥yuri
  • Monkey测试1——Monkey的使用

    流柯
  • 漏洞挖掘 | 如何开启被动挖漏技能

    首先,让我们来探索下挖洞的本质是什么,模糊测试,就是Fuzz,而Fuzz我们就常用的工具就是Burpsuite,当你有基本的Web安全基础的时候,就可以...

    HACK学习

扫码关注云+社区

领取腾讯云代金券