AWS与埃默里大学合作开发基于云的NLP研究平台ELIT

安妮 编译自 AWS官方博客 量子位 出品 | 公众号 QbitAI

自然语言处理(NLP)的研究很多,但埃默里大学语言与信息技术发展(ELIT)团队想做的事不太一样,他们想支持大数据分析扩展的端到端NLP pipeline。

近日,埃默里NLP研究团队和AWS MXNet团队合作开发了一个基于AWS云的NLP研究平台。和其他的NLP框架不同,ELIT提供一个网页API将平台独立,研究人员可以随时随地开始大规模计算。

这篇AWS的官博将详细介绍ELIT平台,并且提供网页API的演示及NLP的可视化。

ELIT研究平台

随着机器学习应用范围的扩大,基于机器学习的NLP模型开始对计算能力有要求。虽然AWS这样的云端计算平台给研究人员提供了不受限的资源运行模型,但对云端不熟悉的研究者仍会觉得云端计算使用起来过于繁琐。

ELIT平台就是想提供NLP网页服务,让任何人通过网络连接请求使用这项服务,而无需本地安装或云计算的专业知识。

一起看看用ELIT平台做NLP任务情感分析的例子。

情感分析

在这个例子中,我们需要将每个document归类到消极、中立和积极情绪中的一种。ELIT用CNN模型分析社交媒体和影评中的数据。

CNN模型先通过叠加每个词的向量表示创建输入矩阵,之后,输入矩阵被送入卷积层和池化层,将输出与attention矩阵匹配,测量输入文档中每个n-gram的强度(本例中n=[1…5])。最后,模型将attention输出反馈给softmax层,softmax层判断文本中词语消极、中立和积极的概率。

演示

我们将从ELIT演示页面的屏幕截图开始:

演示页面地址为:

http://demo.elit.cloud/

左上角的文本框中的输入文本是:“我昨晚看了《音乐之声》,虽然这是我最喜欢的电影,但它的结局还可以更好。”

在右上角,有一些帮助我们单词化、分割和情感分析来自影评和Twitter的可选项。我们以影评的单词化、分割和情感分析举个例子:

点击“Analyze”,输入文本被发送到所选的运行NLP pipeline的ELIT服务器,并返回以下输出:

ELIT情感可视化工具将每个句子的情绪编码成一种颜色,红色、绿色和蓝色分别代表消极、中立和积极情绪。此外,不同透明度的词代表情感含义的强烈程度:

可以将强度等级可视化。在下面的图中,圆圈越大,表示的情感越强烈:

将上述两种可视化效果叠加,我们可以得到更清晰明显的图:

网页API

NLP的输出可被用任何语言编程的web API检索到。这是一段简单的Python代码,请求NLP输出我们示例中的输入文本。

根据请求,ELIT需要输入原始文本并且运行的NLP pipeline、分割和电影模型的情感分析,并将输出HTTP返回。最后一行将以JSON格式输出:

JSON输出遵循以下格式:

  • 一些文件:文件清单→[文件,…,文件]
  • 一个文件:句子列表→[语句,…,句子]
  • 一句话:一本字典的关键词是{token,offset,情感}
    • token:句子中的token列表。
    • offset:指相应的token在原始文本指示位置offset的列表。每个offset由一对(开始,结束)表示,每个文档开头offset均设置为0。
    • 情感:指(消极、中性、积极)情感指数。

这一部分的具体细节可参照ELIT官网:

https://elit.cloud/tutorial/decode/

解码框架

解码请求通过弹性负载平衡器(Elastic Load Balancer)确保其可伸缩性。一旦web API服务器接收到请求,就会将请求发送到生成的NLP输出文本的NLP服务器。

如果所请求的文本大于10 MB,NLP服务器就将输出保存到Amazon S3存储。最后,输出被发送回web API服务器,将信息存储到数据库并将NLP输出发送给用户。

路线图

目前,ELIT持三个NLP任务:单词化、分割和情感分析。

展望未来,在2018年第二季度,ELIT将计划支持大多数的核心NLP任务,如词性标注、形态分析、命名实体识别、依存关系语法分析、语义角色标注和指代消解。ELIT将提供一个接口训练自定义模型,项目进展的预计时间线如下:

参考资料

项目介绍:

https://elit.cloud/

代码地址:

https://github.com/elitcloud/elit

AWS官方博客介绍地址:

https://amazonaws-china.com/cn/blogs/ai/aws-collaborates-with-emory-university-to-develop-cloud-based-nlp-research-platform-using-apache-mxnet/

关于埃默里大学NLP研究小组:

http://nlp.mathcs.emory.edu

更多Apache MXNet信息:

https://aws.amazon.com/mxnet

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

深度学习小白的福音:使用Deep Learning Studio不涉及任何编码,训练并配置深度学习模型

Deep Learning Studio是自2017年1月以来第一个强健的深度学习平台,有云计算和桌面计算两个版本,该平台拥有可视化界面。该平台提供了数据提取,...

1522
来自专栏专知

耶鲁大学发布自然语言处理资源引擎TutorialBank: 让NLP学习不再困难

2376
来自专栏影子

关于图文识别功能相关技术的大致实现

1424
来自专栏影子

关于图文识别功能相关技术的大致实现

转载请注明源地址:http://www.cnblogs.com/funnyzpc/p/8908906.html

1331
来自专栏FreeBuf

如何科学合理薅FreeBuf活动“羊毛”

过年前网站推出一个叫“网藤杯智能安全机器人养成计划”的活动,刚开始以为是一个养蛙类型的活动,研究过后发现,这是一个上传数据拿奖品的活动,看着礼品还挺诱人的,作为...

3545
来自专栏机器之心

资源 | Texture:一个优雅的开源学术论文书写工具

机器之心整理 作者:思源 近日,Substance 在 GitHub 上开源了一个用于结构文本的文字处理工具 Texture,他们表示该工具像 LaTeX 一样...

3115
来自专栏携程技术中心

干货 | 携程AI模型引擎设计与实践

1662
来自专栏量子位

TensorFlow 1.0正式发布!

量子位 | 问耕 编译整理 ? 今日凌晨,在加州湾区Google总部山景城举办的TensorFlow开发者峰会上,TensorFlow 1.0版本正式发布!目前...

2823
来自专栏美图数据技术团队

美图AB Test实践:Meepo系统

感谢阅读「美图数据技术团队」的第 8 篇文章,关注我们持续获取美图最新数据技术动态。

1661
来自专栏喔家ArchiSelf

嵌入式中的人工神经网络

人工神经网络在AI中具有举足轻重的地位,除了找到最好的神经网络模型和训练数据集之外,人工神经网络的另一个挑战是如何在嵌入式设备上实现它,同时优化性能和功率效率。...

1622

扫码关注云+社区