专栏首页AI科技评论动态 | 「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

动态 | 「词嵌入」和「注意力」的新发现获得CoNLL 2018最佳论文奖

AI 科技评论按:国际语言学会(ACL)下属的 SIGDAT 小组主办的自然语言处理顶级会议 EMNLP 2018 即将于 10 月 31 日到 11 月 4 日在比利时布鲁塞尔举行,另一个也有不小影响力的会议,ACL 下属的 SIGNLL 主办的计算自然语言学习会议 CoNLL 2018 也将与 EMNLP 共同召开,时间为 10 月 31 日到 11 月 1 日。

10 月 30 日(美国时间 10 月 29 日),CoNLL 2018 大会公布了论文奖。雷锋网 AI 科技评论介绍如下。

最佳论文奖

Uncovering Divergent Linguistic Information in Word Embeddings with Lessons for Intrinsic and Extrinsic Evaluation

  • 从本征评价和外部评价的对比中学习,揭开词嵌入中包含的多样化语言信息
  • 论文摘要:随着单词嵌入(word embeddings)近年来获得巨大的成功,有人提出「并不存在完美的单词表征」的观点,因为不同的模型总会倾向于捕捉不同的语言成分,有时候甚至是互相冲突的成分, 比如语义还是句法,以及相似度还是关联性。在这篇论文中,作者们表明了每种词嵌入模型捕捉的信息实际上都比直接体现出的要多。无需任何额外的资源,一个改变模型的相似性顺序的线性变换就可以让它在这些方面展现出更好的表现,这为我们提供了新的视角来理解嵌入对多种语言信息的共同编码。除此之外,作者们也探索了本征评价方法与外部评价方法之间的关系,他们发现所用的线性变换对后续任务产生的影响中,对于无监督学习系统产生的影响比有监督学习系统更大。
  • 论文地址:http://aclweb.org/anthology/K18-1028

特别奖 - 受人类语言学习和处理启发法的最佳研究论文

Sequence Classification with Human Attention

  • 利用人类注意力的序列分类
  • 论文摘要:学习注意力函数需要非常大规模的数据,不过有很多自然语言处理任务都是对人类行为的模拟,在这篇论文中作者们就表明人类的注意力确实可以为 NLP 中的许多注意力函数提供一个不错的归纳偏倚。具体来说,作者们根据人类阅读语料时的眼睛动作追踪数据估计出了「人类注意力」,然后用它对 RNN 网络中的注意力函数进行正则化。作者们的实验表明,人类注意力在大量不同的任务中都带来了显著的表现提升,包括情感分析、语法错误检测以及暴力语言检测。
  • 论文地址:http://aclweb.org/anthology/K18-1030

更多 CoNLL 2018 及 EMNLP 2018 报道,请继续关注 AI 科技评论。

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 约翰霍普金斯大学刘晨曦:渐进式神经网络结构搜索

    近年来,神经网络已经成为了计算机视觉中主要的机器学习解决方案。然而神经网络结构的设计仍然需要极强的专业知识,在一定程度上妨碍了神经网络的普及。

    AI科技评论
  • 今日 Paper | 3D手势估计;自学习机器人;鲁棒语义分割;卷积神经网络;混合高斯过程等

    为了帮助各位学术青年更好地学习前沿研究成果和技术,AI科技评论联合Paper 研习社(paper.yanxishe.com),重磅推出【今日 Paper】栏目,...

    AI科技评论
  • 开发 | 用GAN来做图像生成,这是最好的方法

    前言 在我们之前的文章中,我们学习了如何构造一个简单的 GAN 来生成 MNIST 手写图片。对于图像问题,卷积神经网络相比于简单地全连接的神经网络更具优势,因...

    AI科技评论
  • 那些值得一用的JS库

    如果你是一个npm作者,强烈推荐使用np模块,它能为你轻而易举地解决更新版本、添加git发布tag和发布代码到npm,特别是当你有很多npm模块要维护的时候。

    代码拾遗
  • 几百个作者有相同的名字?| 智源-AMiner大赛,从EDA到冠军baseline

    2019年10月,智源-AMiner 北京智源人工智能研究院和AMiner联合发布了一个大规模姓名排歧数据集OAG – WhoIsWho,这是目前为止发布的人工...

    大数据文摘
  • 不被大神Hinton认同,否定现有同行成果,谷歌这篇烧脑研究最终拿下ICML2019最佳论文

    今年,共有3424篇论文提交到这场一年一度的机器学习国际顶会上,大会共接收了774篇。有两篇论文,从千军万马中脱颖而出,成为ICML 2019最佳论文。

    zenRRan
  • 让决策者充分利用云计算价值的10个方法

    在本文中列出了10个与云计算接触时需要留意的关键点,以帮助企业的业务决策者避免陷入一些IT误区,并从云计算中找到对于企业来说最有价值的部分。 1、在采购之前先了...

    静一
  • 动态 | ICML 2019 大会投稿新要求出炉!

    AI科技评论按:ICML 是 International Conference on Machine Learning 的缩写,即国际机器学习大会。如今,ICM...

    AI科技评论
  • 宇宙、人类、人工智能之春秋战国(1)分歧初现

    用户1737318
  • 在巨头环绕的云服务市场中,小型玩家如何找到自己的一亩池塘?

    人称T客

扫码关注云+社区

领取腾讯云代金券