zenRRan

LV0
发表了文章

超详细图解Self-Attention的那些事儿

来源丨https://zhuanlan.zhihu.com/p/410776234

zenRRan
发表了文章

Transformer代码完全解读!

本篇正文部分约10000字,分模块解读并实践了Transformer,建议收藏阅读。

zenRRan
发表了文章

让人深思:句法真的重要吗?邱锡鹏组提出一种基于Aspect的情感分析的强大基线

基于方面的情感分析(Aspect-Based Sentiment Analysis (ABSA))任务大家应该已经很熟了,本文的实验基于此。

zenRRan
发表了文章

ACL2021 | 知识对比:基于外部知识的图神经虚假新闻检测

https://github.com/BUPT-GAMMA/CompareNet_FakeNewsDetection

zenRRan
发表了文章

ESimCSE:无监督语义新SOTA,引入动量对比学习扩展负样本,效果远超SimCSE

从论文标题中可以看出,应该是对4月份丹琦女神发表的新作SimCSE的增强版(Enhance),并且也用到了对比学习来构建正负样本,那么效果是否优于SimCSE呢...

zenRRan
发表了文章

清华提出:用于细粒度实体分类的Prompt-Learning,并提出可训练Prompt模板

提示学习(Prompt-learning)一个有效的tune预训练模型到特定任务上的方法,最近受到了各方学者的关注。

zenRRan
发表了文章

ACL 2021 | 预训练模型的改进与应用

论文地址:https://arxiv.org/pdf/2106.16038.pdf

zenRRan
发表了文章

ACL2021 | 一种巧妙解决NER覆盖和不连续问题的方法

由于普通的NER问题被研究的透透的了,本文主要解决一种稍微复杂些问题:一种带有覆盖和不连续(Overlapped and Discontinuous)的命名实体...

zenRRan
发表了文章

ACL2021 | CMU和北邮联合提出的DualGCN在基于Aspect的情感分析任务上达到了SOTA

基于aspect的情感分析是细粒度情感分析的一个重要子任务。最近,GNN在已经成功的探索通过模型连接aspect和opinion words。但是,由于依存关系...

zenRRan
发表了文章

【ACL 2021】开放域对话结构发现

从真实人-人对话中学习离散的对话结构图,有助于人们理解对话规律,同时也可以为生成通顺对话提供背景知识。然而,当前在开放域对话下,这一问题仍然缺乏研究。在本文中,...

zenRRan
发表了文章

这篇文章告诉你,如何用阅读理解来做NER!

之前做过实体关系抽取/联合抽取等任务,是用LSTM+CRF模型+BIO标注的方法,最近看到有一篇ACL用MRC(Machine Reading Comprehe...

zenRRan
发表了文章

位置编码在注意机制中的作用

A. Vaswani等人的《Attention Is All You Need》被认为是解决了众所周知的LSTM/RNN体系结构在深度学习空间中的局限性的突破之...

zenRRan
发表了文章

2021 年了,TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗?

现在各大顶会开源代码没有一丝丝的tensorflow2.x,就连谷歌家自己的论文也是只有torch和jax。零零星星一些tf1的开源代码。

zenRRan
发表了文章

开放域信息抽取最新动向

2020年,自然语言处理领域顶级的国际学术会议EMNLP(Conference on Empirical Methods in Natural Language...

zenRRan
发表了文章

生成式预训练之MASS

今天和大家一起简单回顾一下2019年发表的《MASS: Masked Sequence to Sequence Pre-training for Languag...

zenRRan
发表了文章

细粒度情感分析:还在用各种花式GNN?或许只用RoBERTa就够了

知乎:https://zhuanlan.zhihu.com/p/366133681

zenRRan
发表了文章

【实践】Pytorch nn.Transformer的mask理解

pytorch也自己实现了transformer的模型,不同于huggingface或者其他地方,pytorch的mask参数要更难理解一些(即便是有文档的情况...

zenRRan
发表了文章

【前沿】Purdue&UCLA提出梯度Boosting网络,效果远好于XGBoost模型!

Gradient Boosting Neural Networks: GrowNet

zenRRan
发表了文章

【机器学习】一文看懂贝叶斯优化/Bayesian Optimization

今天想谈的问题是:什么是贝叶斯优化/Bayesian Optimization,基本用法是什么?

zenRRan
发表了文章

Transformer的一家!

而关于attention和self-attention存在非常多的形式,我们之前常见的Transformer是依赖于scaled-dot-product的形式,...

zenRRan

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券