前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >开发 | 艾伦人工智能研究院开源AllenNLP,基于PyTorch轻松构建NLP模型

开发 | 艾伦人工智能研究院开源AllenNLP,基于PyTorch轻松构建NLP模型

作者头像
AI科技评论
发布2018-03-14 10:09:04
1.4K0
发布2018-03-14 10:09:04
举报
文章被收录于专栏:AI科技评论

AI科技评论消息,艾伦人工智能研究院(AI2)开源AllenNLP,它是一个基于PyTorch的NLP研究库,利用深度学习来进行自然语言理解,通过处理低层次的细节、提供高质量的参考实现,能轻松快速地帮助研究员构建新的语言理解模型。

AllenNLP能让设计和评估新的深度学习模型变得简单,几乎适用于任何NLP问题,通过利用一些基础组件,你可以轻松地在云端或是你自己的笔记本上跑模型。

关于AllenNLP的详细信息,可以参见论文AllenNLP: A Deep Semantic Natural Language Processing Platform,地址:http://allennlp.org/papers/AllenNLP_white_paper.pdf

模型对比

下面是AllenNLP模型与相关模型的对比,前者在合理的训练时间下均能取的较好的表现:

机器理解

机器理解(Machine Comprehension,MC)模型通过在文本内选择一段内容来回答自然语言问题。AllenNLP MC模型能重现BiDAF(Bi-Directional Attention Flow)的效果,后者在SQuAD数据集上跑分已经接近state-of-the-art。AllenNLP BIDAF在 SQuAD dev数据集中的EM分为68.7,只比原始BIDAF模型的67.7分多一点点,两者同样在p2.xlarge上训练了4个小时。

语义角色标注

语义角色标注(Semantic Role Labeling,SRL)模型分析句子中各成分与谓词之间的关系,建造表征来回答关于句义的基本问题,如“谁对谁做了什么”等。AllenNLP SRL模型能重现深度BiLSTM模型的效果,在CoNLL 2012上能得到78.9的F1分数。

文字蕴涵

文字蕴涵(Textual Entailment,TE)模型分析两个句子,分析一个句子中是否蕴涵了另一个句子的知识。AllenNLP TE模型能重现可分解注意力模型的效果,后者在SNLI数据集上有接近state-of-the-art的表现。AllenNLP TE模型得到了84.7分,可以与可分解注意力模型得到的86.3分相提并论。

代码地址:https://github.com/allenai/allennlp/archive/v0.2.0.zip(zip);

https://github.com/allenai/allennlp/archive/v0.2.0.tar.gz(tar.gz)

更多信息,可以查看:http://allennlp.org/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-09-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI科技评论 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档