https://aclweb.org/anthology/papers/Q/Q18/Q18-1019/
K-best Iterative Viterbi Parsinggodweiyang.com
Straight to the Tree:Constituency Parsing with Neural Syntactic Distancegodweiyang.com
成分句法分析近年来取得了飞速的发展,特别是深度学习兴起之后,神经句法分析器的效果得到了巨大的提升。一般来说,句法分析器都可以分为编码模型和解码模型两个部分。编码模型用来获取句子中每个单词的上下文表示,随着表示学习的快速发展,编码模型也由最初的LSTM逐渐进化为了表示能力更强的Transformer (VaswaniSPUJGKP17)。而解码模型方面,也诞生了许多不同类型的解码算法,比如基于转移系统(transition-based)的解码算法(WatanabeS15, CrossH16, LiuZ17a),基于动态规划(chart-based)的解码算法(SternAK17, KleinK18)和基于序列到序列(sequence-to-sequence)的解码算法(BengioSCJLS18, Gomez-Rodriguez18)等等。
Constituent Parsing as Sequence Labelinggodweiyang.com
AI 科技评论按,本文作者韦阳,本文首发于知乎专栏自然语言处理与深度学习,AI 科技评论获其授权转载。
语法分析(syntactic parsing )是自然语言处理中一个重要的任务,其目标是分析句子的语法结构并将其表示为容易理解的结构(通常是树形结构)。同时,语法分析也是所有工具性NLP任务中较为高级、较为复杂的一种任务。 通过掌握语法分析的原理、实现和应用,我们将在NLP工程师之路上跨越一道分水岭。 本章将会介绍短语结构树和依存句法树两种语法形式,并且着重介绍依存句法分析的原理和实现。
https://godweiyang.com/2019/04/20/NAACL19-URNNG/godweiyang.com
基于方面的情感分析(Aspect-Based Sentiment Analysis (ABSA))任务大家应该已经很熟了,本文的实验基于此。
In-Order Transition-based Constituent Parsinggodweiyang.com
编码器已经成为了很多 NLP 模型中的基本结构。不管你是做机器翻译,还是做句法分析,不管你是需要得到单词的上下文表示,还是需要得到句子的表示,你都需要一个强有力的编码器。输入一个句子,编码器最终输出每个单词的表示或者整个句子的表示。
其中两个词之前的弧表示这两个词有依存关系,弧上的标签为二者的关系,弧的始发点为父亲节点,箭头指向为孩子节点。比如The 和 fox 是冠词+名词(det)的名词短语。
「论文地址:」A Span-based Linearization for Constituent Trees[1] 「代码地址:」https://github.com/AntNLP/span-linearization-parser[2] 「PPT地址:」https://godweiyang.com/2020/08/30/acl20-yangwei-parsing/ACL2020.pdf[3]
PaLM: A Hybrid Parser and Language Model[1]
Recurrent Neural Network Grammarsgodweiyang.com
Two Local Models for Neural Constituent Parsinggodweiyang.com
本文记录自然语言基础技术之语义角色标注学习过程,包括定义、常见方法、例子、以及相关评测,最后推荐python实战利器,并且包括工具的用法。
Faster Shift-Reduce Constituent Parsing with a Non-Binary, Bottom-Up Strategygodweiyang.com
在依存句法分析中,句子中词与词之间存在一种二元不等价关系: 主从关系。在句子中,如果一个词修饰另一个词,则称修饰词为从属词(dependent),被修饰词成为支配词(head) ,两者之间的语法关系就是依存关系(dependency relation)。
Multi-Granularity Self-Attention for Neural Machine Translation[1]
https://www.aclweb.org/anthology/D19-1098.pdf
Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Autoencodersgodweiyang.com
PCFG中inside和outside算法详解 - WeiYang Bloggodweiyang.com
这开始介绍依存树的来龙去脉! 来历 a.简单的短语分词(正向逆向最大匹配,n-gram,机器学习...)(以单个词为重点) 比如: 猴子喜欢吃香蕉。->猴子 喜欢 吃 香蕉 。 b.由分词转向词性标注
Dynamic Oracles for Top-Down and In-Order Shift-Reduce Constituent Parsinggodweiyang.com
Neural Language Modeling by Jointly Learning Syntax and Lexicongodweiyang.com
句法树(Syntex Tree)是对一个句子中不同组成元素间结构、层次和功能关系的通用描述方式。由于树可以被视为一种特殊的图,因此许多方法基于句法树进行图表征学习以辅助文本分类。
Better, Faster, Stronger Sequence Tagging Constituent Parsersgodweiyang.com
论文赏析[ACL18]一个句子向量表示究竟可以塞进多少语言性质?| 韦阳的博客godweiyang.com
今年三月的阿法狗让人工智能成了网络上最热门的话题。虽然目前的人工智能已经发展到了相对成熟的地步,但仍然不擅长识别和解析自然语言。近日谷歌在Google Research Blog(国内访问不了)上宣布开源一个名为SyntaxNet的项目,以帮助机器更好地理解自然语言。同时也发布了针对英语的预先训练的模型Parsey McParseface,用于分析英文的文本。
A Minimal Span-Based Neural Constituency Parsergodweiyang.com
先来看看语义角色标注在维基百科上的定义:Semantic role labeling, sometimes also called shallow semantic parsing, is a process in natural language processing that assigns labels to words or phrases in a sentence that indicate their semantic role in the sentence, such as that of an agent, goal, or result. It consists of the detection of the semantic arguments associated with the predicate or verb of a sentence and their classification into their specific roles.
原文链接: What's Going On in Neural Constituency Parsers? An Analysisgodweiyang.com 论文地址:What's Going On
生成式句法分析指的是,生成一系列依存句法树,从它们中用特定算法挑出概率最大那一棵。句法分析中,生成模型的构建主要使用三类信息:词性信息、词汇信息和结构信息。前二类很好理解,而结构信息需要特殊语法标记,不做考虑。
AAAI 是人工智能领域的顶级国际会议之一。今年的 AAAI 2020 是第 34届,于2月7日至12日在美国纽约举行。
【新智元导读】Google Research今天宣布,世界准确度最高的自然语言解析器SyntaxNet开源。谷歌开源再进一步。据介绍,谷歌在该平台上训练的模型的语言理解准确率超过90%。近日,众多科技巨头人工智能相关平台开源步伐明显加快:谷歌和Facebook一直在领跑,马斯克的OpenAI欲打造一个完全公开的AI模型训练营,就连一直被批评“保守”的亚马逊也在尝试开源。这一股开源热潮背后,是人工智能研究者的福利,但同时也是一场激烈的数据和平台争夺战。 Google环境计算( Ambient computi
预训练语言模型在各种自然语言处理任务上的惊人表现,引起了人们对其分析的兴趣。Probing 是进行此类分析所采用的最普遍的方法之一。在典型的 probing 研究中,probing 是一个插在中间层的浅层神经网络,通常是一个分类器层。其有助于探查不同层捕获的信息。使用辅助任务对 probing 进行训练和验证,以发现是否捕获了此类辅助信息。
Linear-Time Constituency Parsing with RNNs and Dynamic Programminggodweiyang.com
昨天凌晨,余南师兄收到了COLING的录用邮件,我们实验室的所有人万分激动,都送上了自己真心的祝福!
近年来,基于深度神经网络的机器翻译取得了飞速发展。目前大多数NMT模型都使用了编码器-解码器框架来实现,编码器将源语句的表示送入到解码器来生成目标句子;解码器通常以自回归的方式来工作,从左到右逐字地生成目标句子,第t个目标词的生成依赖于先前生成的t-1个目标词。
本文介绍了自然语言处理领域的一些新技术和趋势,包括语言模型、机器翻译、问答系统、情感分析、对话和交互系统、知识图谱、语音识别和合成、多模态和多语言处理、以及面向中文的NLP技术和应用。文章还讨论了NLP领域的挑战和未来发展方向,并提出了几个值得关注的方向和机遇。
本文转载自「腾讯AI实验室」,搜索「tencent_ailab」即可关注 本文是腾讯AI Lab微信号第三篇文章,深度解析本届ACL热门研究。文章第一部分是三大前沿领域重点文章解析,包括信息抽取、问答
序列标注(Sequence labeling)是我们在解决NLP问题时经常遇到的基本问题之一。在序列标注中,我们想对一个序列的每一个元素标注一个标签。一般来说,一个序列指的是一个句子,而一个元素指的是句子中的一个词。比如信息提取问题可以认为是一个序列标注问题,如提取出会议时间、地点等。
PaddlePaddle出教程啦,教程一部分写的很详细,值得学习。 一期涉及新手入门、识别数字、图像分类、词向量、情感分析、语义角色标注、机器翻译、个性化推荐。 二期会有更多的图像内容。 随便,帮国产框架打广告:加入TechWriter队伍,强大国产深度学习利器。https://github.com/PaddlePaddle/Paddle/issues/787 . .
机器之心专栏 作者:腾讯 AI Lab 在本文中,腾讯 AI Lab 将深度解析本届 ACL 大会的热门研究。文章第一部分是三大前沿领域重点文章解析,包括信息抽取、问答系统和机器翻译等。第二部分是 A
文章转载自微信号腾讯AI实验室(tencent_ailab) 腾讯AI Lab去年四月成立,今年是首次参展ACL,共计三篇文章被录取,位居国内企业前列。此次团队由实验室主任张潼博士与副主任俞栋博士共同带领到现场交流学习。 上图:腾讯AI Lab主任张潼博士现场演讲座无虚席 下左图:参与ACL的团队;下右图:现场论文展示 从研究领域和前沿思考出发,我们重点关注了三大领域的前沿研究,以下为重点论文评述。 以下论文均可在官网下载:http://t.cn/R9ynux4 问答系统 Question An
链接: https://blog.csdn.net/choose_c/article/details/90273333
本文介绍了自然语言处理中成分句法分析,包括定义、基本任务、常见方法以及短语结构和依存结构的关系,最后,分享了一些流行的工具以及工具实战例子。
作者是来自于法国Inria机构的Ganesh Jawahar,Benoît Sagot和Djamé Seddah。探索BERT深层次的表征学习是一个非常有必要的事情,一是这可以帮助我们更加清晰地认识BERT的局限性,从而改进BERT或者搞清楚它的应用范围;二是这有助于探索BERT的可解释性,自从各国政府人工智能战略的相继发布,神经网络的可解释性问题成为了一个不可忽略的问题。
领取专属 10元无门槛券
手把手带您无忧上云