专栏首页arxiv.org翻译专栏超越排行榜:揭示自然语言推理数据和模型中弱点的方法的调查(CS CL)
原创

超越排行榜:揭示自然语言推理数据和模型中弱点的方法的调查(CS CL)

近年来,越来越多的出版物分析自然语言推理(NLI)数据集的表面暗示,它们是否破坏了这些数据集背后的任务的复杂性,以及它们如何影响对这些数据进行优化和评估的模型。这项结构化调查通过对模型和数据集中所报告的弱点进行分类,并提出了揭示和缓解英语中那些弱点的方法,从而对正在发展的研究领域进行了概述。我们总结并讨论了发现,并针对可能的未来研究方向提出了一系列建议。我们希望这对于提议新数据集的研究人员来说,将是有用的资源,它拥有一套工具来评估其数据的适用性和质量,以评估各种令人感兴趣的现象,以及那些开发新颖的架构,进一步了解他们的改进对模型的影响的获得能力。

原文标题:Beyond Leaderboards: A survey of methods for revealing weaknesses in Natural Language Inference data and models

原文:Recent years have seen a growing number of publications that analyse Natural Language Inference (NLI) datasets for superficial cues, whether they undermine the complexity of the tasks underlying those datasets and how they impact those models that are optimised and evaluated on this data. This structured survey provides an overview of the evolving research area by categorising reported weaknesses in models and datasets and the methods proposed to reveal and alleviate those weaknesses for the English language. We summarise and discuss the findings and conclude with a set of recommendations for possible future research directions. We hope it will be a useful resource for researchers who propose new datasets, to have a set of tools to assess the suitability and quality of their data to evaluate various phenomena of interest, as well as those who develop novel architectures, to further understand the implications of their improvements with respect to their model's acquired capabilities.

原文作者:Viktor Schlegel, Goran Nenadic, Riza Batista-Navarro

原文地址:https://arxiv.org/abs/2005.14709

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一组最大化提高被检测物体的数量和质量的无人机监控器位置的自主和协作设计(CS AI)

    本文解决了将无人机群放置在完全未知的地形内的问题,目的是最大限度地提高整体态势感知能力。情境意识是由无人机视场内感兴趣的独特对象的数量和质量表示的。使用YOLO...

    刘子蔚
  • 法兰克福拉丁词典:从形态扩展和词嵌入到符号图(CS CL)

    在本文中,我们介绍了法兰克福拉丁语词典(FLL),这是中世纪拉丁语的词汇资源,用于拉丁文本的词素化和词素化的后期编辑。我们描述了造词机的最新发展,并针对Capi...

    刘子蔚
  • 研究用于社交媒体中仇恨语音检测的深度学习方法(CS CL)

    互联网的迅猛发展有助于增强个人的表达能力,但滥用表达自由的行为也导致各种网络犯罪和反社会活动的增加。仇恨言论就是一个这样的问题,需要非常认真地解决,否则,这可能...

    刘子蔚
  • Top Best Programming Languages for 2020

    Top-Best-Programming-Languages-for-2020.png

    用户4822892
  • 【论文推荐】最新5篇信息抽取(IE)相关论文—开放信息抽取、不完整信息、主动学习、越南语、依存分析

    【导读】专知内容组整理了最近五篇信息抽取(Information Extraction)相关文章,为大家进行介绍,欢迎查看! 1. Assertion-base...

    WZEARW
  • Beyond Leaderboards:揭示自然语言推理数据和模型中弱点的方法调查(CS CL)

    近年来,分析自然语言推理(NLI)数据集的表面线索的出版物越来越多,它们是否破坏了这些数据集的基础任务的复杂性,以及它们如何影响那些在这些数据上进行优化和评估的...

    刘持诚
  • 【论文推荐】最新七篇图像分类相关论文—条件标签空间、生成对抗胶囊网络、深度预测编码网络、生成对抗网络、数字病理图像、在线表示学习

    【导读】专知内容组整理了最近七篇图像分类(Image Classification)相关文章,为大家进行介绍,欢迎查看! 1. Learning Image C...

    WZEARW
  • 【论文推荐】最新五篇命名实体识别(NER)相关论文—对抗学习、语料库、深度多任务学习、先验知识、跨语言语义

    【导读】专知内容组整理了最近五篇命名实体识别(Named Entity Recognition)相关文章,为大家进行介绍,欢迎查看! 1. Adversaria...

    WZEARW
  • 【论文推荐】最新5篇情感分析相关论文—深度学习情感分析综述、情感分析语料库、情感预测性、上下文和位置感知的因子分解模型、LSTM

    【导读】专知内容组整理了最近五篇情感分析(Sentiment Analysis)相关文章,为大家进行介绍,欢迎查看! 1. Deep Learning for ...

    WZEARW
  • 使用python探知一个故事的大意(上)

    2. Define the problem (outcomes, technicalrequirements)

    哒呵呵

扫码关注云+社区

领取腾讯云代金券