专栏首页大数据智能实战AllenNLP系列文章之四:指代消解

AllenNLP系列文章之四:指代消解

指代消解是自然语言处理的一大任务之一,它是信息抽取不可或缺的组成部分。在信息抽取中,由于用户关心的事件和实体间语义关系往往散布于文本的不同位置,其中涉及到的实体通常可以有多种不同的表达方式,例如某个语义关系中的实体可能是以代词形式出现的,为了更准确且没有遗漏地从文本中抽取相关信息,必须要对文章中的指代现象进行消解。指代消解不但在信息抽取中起着重要的作用,而且在机器翻译、文本摘要和问答系统等应用中也极为关键。

如本方第一句话: “指代消解是自然语言处理的一大任务之一,是信息抽取不可或缺的组成部分。”

AllenNLP很Nice的一点是,提供了指代消解的功能,其介绍如下:

Coreference Resolution

Coreference resolution is the task of finding all expressions that refer to the same entity in a text. It is an important step for many higher level NLP tasks that involve natural language understanding, such as document summarization, question answering and information extraction. Our implementation is based on End-to-End Coreference Resolution (Lee et al, 2017)--a neural model which considers all possible spans in the document as potential mentions and learns distributions over possible anteceedents for each span. This approach achieved state-of-the-art results on the Ontonotes 5.0 dataset in early 2017. The AllenNLP implementation achives 63.0% F1 on the CoNLL test set. Please note that this model does not include speaker features (impractical for general use), variational dropout (currently difficult to implement in Pytorch) or data augmentation and considers 100 anteceedents rather than 250 due to memory constraints.

指代消解的基本实现原理可以见stanford的CS224n课程15的介绍,其基本原理是找到一个句子中的所有mention,然后两两配对,评分,如课程PPT中的图示:

由于机器并不知道哪些会成为一个Coreference Cluster,因此需要两两配对,再打分。

打分后聚类的结果如下,从而可实现指代消解。

1、论文原理

即里面集成了ACL 2017年的指代消解算法,End-to-end Neural Coreference Resolution。它针对的问题就是上面配对的数量随着文档而指数增长的问题,因此采用一些策略来减少配对,提高速度,同时在精度上也有所提升。

Scoring all span pairs in our end-to-end model is impractical, since the complexity would be quartic in the document length. Therefore we factor the model over unary mention scores and pairwise antecedent scores, both of which are simple functions of the learned span embedding. The unary mention scores are used to prune the space of spans and antecedents, to aggressively reduce the number of pairwise computations.

其技术框架 如下:

上述总共分为两个步骤,输入是词向量(含字符向量),然后得到每个mention及其得分,引入了head attention机制来实现配对的优化。

2、论文实践

(1)测试例子:The woman reading a newspaper sat on the bench with her dog.

从其结果可知其聚类结果为【0-4】,【10】两个配对,即:

测试结果的可视化如WEB页面所示:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于gpt-2模型(117M预训练模型)的文本自动生成测试

    openai的gpt-2模型最近在风口浪尖上。Language Models are Unsupervised Multitask Learners论文已经出来...

    sparkexpert
  • 谷歌tacotron端到端的文本转语音合成模型实践

    虽然谷歌tacotron已经推出了两个版本了,但是本实践主要还是针对第一个实践的。

    sparkexpert
  • 图像检索中的DELF模型(DEep Local Features)实践

      近日,抽空跑通了delf模型,它已经成为tensorflow models中research的一个子工程(见网址:https://github.com/te...

    sparkexpert
  • Woocommerce Trends 2020

    Top Woocommerce Trends To Follow In 2020. If you have an online store and missed...

    用户4822892
  • 多处理器系统中具有多个临界段的实时任务的安排(CS OS)

    多处理器同步和锁定协议的性能是在实时约束下利用多处理器系统计算能力的关键因素。虽然在过去的几十年里已经开发了多种协议,但它们的性能在很大程度上取决于任务划分和优...

    邱邱邱
  • 逻辑,概率和行动:情境演算的观点(CS AI)

    逻辑和概率的统一是人工智能(尤其是科学哲学)长期以来一直关注的问题。本质上,逻辑提供了一种简单的方法来指定必须存在于每个可能世界中的属性,而概率使我们可以进一步...

    小童
  • 在法庭上的表演:法国上诉法院判决的自动处理和可视化(CS AI)

    人工智能技术在法律领域已经很流行并且很重要。我们从司法判决中提取法律指标,以减少法律系统信息的不对称性和诉诸司法的机会。我们使用NLP方法从判决中提取有趣的实体...

    刘子蔚
  • The Rise of Cognitive Business

    When the original Watson won on the TV quiz show Jeopardy! in 2011, it was one c...

    首席架构师智库
  • 从本体感知到新型环境中的长距离规划:分层RL模型(CS AI)

    为了使智能代理能够在复杂环境中灵活高效地进行操作,它们必须能够在时间,空间和概念抽象的多个级别进行推理。在较低级别,代理必须解释其本体感受输入并控制其肌肉,而在...

    刘子蔚
  • Watson Uses Cognitive Computing To Improve People's Lives

    IDC predicts that by 2018, half of all consumers will interact with services bas...

    首席架构师智库

扫码关注云+社区

领取腾讯云代金券