首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >动态 | 「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

动态 | 「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

作者头像
AI科技评论
发布2018-12-06 11:58:10
3580
发布2018-12-06 11:58:10
举报
文章被收录于专栏:AI科技评论AI科技评论

AI 科技评论按:国际语言学会(ACL)下属的 SIGDAT 小组主办的自然语言处理顶级会议 EMNLP 2018 即将于 10 月 31 日到 11 月 4 日在比利时布鲁塞尔举行,另一个也有不小影响力的会议,ACL 下属的 SIGNLL 主办的计算自然语言学习会议 CoNLL 2018 也将与 EMNLP 共同召开,时间为 10 月 31 日到 11 月 1 日。

10 月 30 日(美国时间 10 月 29 日),CoNLL 2018 大会公布了论文奖。雷锋网 AI 科技评论介绍如下。

最佳论文奖

Uncovering Divergent Linguistic Information in Word Embeddings with Lessons for Intrinsic and Extrinsic Evaluation

  • 从本征评价和外部评价的对比中学习,揭开词嵌入中包含的多样化语言信息
  • 论文摘要:随着单词嵌入(word embeddings)近年来获得巨大的成功,有人提出「并不存在完美的单词表征」的观点,因为不同的模型总会倾向于捕捉不同的语言成分,有时候甚至是互相冲突的成分, 比如语义还是句法,以及相似度还是关联性。在这篇论文中,作者们表明了每种词嵌入模型捕捉的信息实际上都比直接体现出的要多。无需任何额外的资源,一个改变模型的相似性顺序的线性变换就可以让它在这些方面展现出更好的表现,这为我们提供了新的视角来理解嵌入对多种语言信息的共同编码。除此之外,作者们也探索了本征评价方法与外部评价方法之间的关系,他们发现所用的线性变换对后续任务产生的影响中,对于无监督学习系统产生的影响比有监督学习系统更大。
  • 论文地址:http://aclweb.org/anthology/K18-1028

特别奖 - 受人类语言学习和处理启发法的最佳研究论文

Sequence Classification with Human Attention

  • 利用人类注意力的序列分类
  • 论文摘要:学习注意力函数需要非常大规模的数据,不过有很多自然语言处理任务都是对人类行为的模拟,在这篇论文中作者们就表明人类的注意力确实可以为 NLP 中的许多注意力函数提供一个不错的归纳偏倚。具体来说,作者们根据人类阅读语料时的眼睛动作追踪数据估计出了「人类注意力」,然后用它对 RNN 网络中的注意力函数进行正则化。作者们的实验表明,人类注意力在大量不同的任务中都带来了显著的表现提升,包括情感分析、语法错误检测以及暴力语言检测。
  • 论文地址:http://aclweb.org/anthology/K18-1030

更多 CoNLL 2018 及 EMNLP 2018 报道,请继续关注 AI 科技评论。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-10-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 AI科技评论 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
NLP 服务
NLP 服务(Natural Language Process,NLP)深度整合了腾讯内部的 NLP 技术,提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。满足各行业的文本智能需求。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档