专栏首页arxiv.org翻译专栏利用迭代细化进行依存关系语法分析的递归非自回归图到图转换器(CS and Language
原创

利用迭代细化进行依存关系语法分析的递归非自回归图到图转换器(CS and Language

我们提出了一种通过非自回归图到图转换器的递归应用程序对任意图进行迭代细化的递归非自回归图到图转换器(RNG-Tr)。虽然之前自回归图预测中已经使用了\newcite{mohammadshahi2019graphtograph}的图到图转换器,但现在我们主要用该转换器在之前同一个图的预测数据基础上独立预测该图的所有边缘。我们利用经BERT \cite{devlin2018bert}预先训练的细化模型在多个依存语料库上对RNG-Tr的能力和效力进行了验证。除此之外,我们还介绍一个与我们的细化模型相似的非递归解析器,即依存性BERT(DepBERT)。RNG-Tr能够提高通用依存性树库以及英语和中文Penn树库中13种语言的各种初级解析器精确度,甚至改善通过DepBERT获得的最新先进结果,明显改善所有受测语料库的现代化水平。

原文标题:Recursive Non-Autoregressive Graph-to-Graph Transformer for Dependency Parsing with Iterative Refinement

We propose the Recursive Non-autoregressive Graph-to-graph Transformer architecture (RNG-Tr) for the iterative refinement of arbitrary graphs through the recursive application of a non-autoregressive Graph-to-Graph Transformer and apply it to syntactic dependency parsing. The Graph-to-Graph Transformer architecture of \newcite{mohammadshahi2019graphtograph} has previously been used for autoregressive graph prediction, but here we use it to predict all edges of the graph independently, conditioned on a previous prediction of the same graph. We demonstrate the power and effectiveness of RNG-Tr on several dependency corpora, using a refinement model pre-trained with BERT \cite{devlin2018bert}. We also introduce Dependency BERT (DepBERT), a non-recursive parser similar to our refinement model. RNG-Tr is able to improve the accuracy of a variety of initial parsers on 13 languages from the Universal Dependencies Treebanks and the English and Chinese Penn Treebanks, even improving over the new state-of-the-art results achieved by DepBERT, significantly improving the state-of-the-art for all corpora tested.

原文作者: Alireza Mohammadshahi, James Henderson

原文链接:https://arxiv.org/abs/2003.13118

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 自动驾驶共享多模态轨迹预测(CS AI)

    本文提出了一种用于预测在高度交互环境中交通未来轨迹的预测框架。基于自动驾驶车辆均配备有各类传感器(例如:LiDAR扫描器,RGB摄像扥)的现实条件下,本研究旨在...

    用户6868260
  • 调查计算语言文档双语方法中的语言影响(Computation and Language)

    对于濒危语言而言,数据收集活动必须能够应对很多数据源自口传而且生产副本费用高昂的挑战。因此,为了确保录音的可解释性,至少要将这些录音转译成使用广泛的语言版本。本...

    用户6868260
  • 基于语言模型调节和位置建模为的摘要式文本摘要(Computation and Language)

    我们对掌握多少预训练语言模型相关知识才能有利于执行摘要式摘要任务方面展开了研究。为此,实验时,我们在BERT语言模型的网络模型基础上调节了转换器的编码器和解码器...

    用户6868260
  • SAP CRM的订单模型移植到S/4HANA之后,到底做了哪些改进?

    Overall idea One order model consists of a series of objects with two different...

    Jerry Wang
  • 一个有效的许可区块链与可证明的信誉机制(Computers and Society)

    许可区块链,只允许已知节点参与,已广泛应用在政府、公司、研究所等等。我们研究了将许可的区块链应用于横向战略联盟领域的案例,以确保联盟中任何不遵守规则的参与者在事...

    用户6869393
  • 一种改进新产品销售预测的网络转移学习方法(CS LG)

    数据驱动方法——例如机器学习和时间序列预测——被广泛用于食品零售领域的销售预测。 然而,对于新推出的产品,缺乏足够的训练数据来训练准确的模型。 在这种情况下,实...

    用户7095611
  • 神经网络零空间分析的异常值检测 (CS)

    许多机器学习分类系统缺乏能力意识。具体而言,许多系统缺乏识别何时将异常值(例如,不同于训练数据分布且未在训练数据分布中表示的样本)呈现给系统的能力。检测异常值的...

    DDDDDaemon
  • 非随机化的仿制品

    Model-X仿制是一种通用程序,可以利用任何特征重要性度量来生成变量选择算法,该算法可以发现真实效果,同时可以严格控制误报的数量或分数。 X型仿生模型是一种随...

    甜甜圈
  • POJ 2209 The King(简单贪心)

    The King Time Limit: 2000MS Memory Limit: 65536K Total Submissions: 7499...

    Angel_Kitty
  • 使用深度学习序列预测光伏发电,并注意序列模型(CS)

    (住宅)光伏(PV)电力作为分布式能源的普及率不断提高,给电力基础设施带来了许多挑战。我们迫切需要高质量、通用的工具来提供准确的电力生产预测。在本文中,我们提出...

    孙孙孙

扫码关注云+社区

领取腾讯云代金券