首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet

近日,麻省理工学院研究团队发表了一篇论文指控知名数据集ImageNet存在系统性Bug,该论文还被国际机器学习大会ICML2020接收。

同时,这篇论文名为《From ImageNet to Image Classification: Contextualizing Progress on Benchmarks》,也发表在了在预印论库arXiv上。

惨遭下架后,MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet

麻省理工研究团队之所以在ICML大会上介绍这项研究,是因为近期陷入的“Tiny Images”争议事件。

就在本月初,麻省理工学院(MIT)宣布永久删除了包含8000万张图像的Tiny Images数据集,并公开表示歉意。其原因是,有关研究人员发表了一篇论文指控Tiny ImageNet数据集存在多项危险标签,包括种族歧视、性别歧视、色情内容等,而且指控有理有据。

论文中表明,ImageNet在语义结构分析上,使用的WordNet名词,它包含了种族歧视等危险内容,同时,由于图像过小,数据量过大,并未手动对图像标签进行逐一核对,由此导致了问题的出现。

众所周知,知名数据集ImageNet也使用了WordNet用于语义结构分析,那么,ImageNet数据集是否也存在同样的问题?对此,麻省理工研究团队给出了答案。

ImageNet基准测试与实际不符

大规模ImageNet数据集的出现,可以说意味着机器学习深度变革的一个新起点。2009年,李飞飞领衔的研究团队在计算机视觉与识别模式大会(CVPR)上首次推出ImageNet,ImageNet数据集包含10000个分类,超过一百万个图像,数据量之大是此从未有过的。

正是因数据量大、质量高,ImageNet数据集被广泛用于预训练和基准测试。但是,麻省理工研究团队在最近的研究中却指出:

ImageNet存在明显的“系统标注问题”,导致其用作基准数据集时与实际情况并不一致。

他们发现,ImageNet数据集中大约有20%的图像包含两个或更多的对象目标。

惨遭下架后,MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet

在通过对多个目标识别模型进行分析后,数据表明包含多个对象目标的照片会导致总体基准的准确性下降10%。

惨遭下架后,MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet

简单举个栗子:假如此图是ImageNet数据集中的一张高清图像,我们可以看到图片中不止包含了一个对象目标,有女孩、吉他和唱麦,而且图片的主目标应该是女孩。

惨遭下架后,MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet

但ImageNet的数据标签可能不是女孩,也可能是唱麦或者吉他,重要的是ImageNet只会标注一个标签,而这样就可能会导致ImageNet在目标识别中出现失误。

研究人员在论文中表明,

“总体而言,单个ImageNet标签可能不能总是捕获到ImageNet图像的主要表物体目标。但是,当我们进行培训和评估时,却将标签视为图像的根本事实,因此,这可能会导致ImageNet基准测试与现实世界中的对象识别任务之间出现不一致,而且这在模型执行和评估性能方面都是如此。”

看到这里你可能会疑惑,为什么不能准确对图像进行标记?其实问题的关键在于ImageNet所使用的标记工具WorldNet。

WordNet名词标记是关键

WordNet在1980年代由George Armitage Miller创立,被广泛用于数据集的收集和标记过程。简单的理解,ImageNet会根据WorldNet提供的名词和它的语义层次结构,在搜索引擎或者Flickr之类的网站进行图像搜索,作为数据集的初始来源。

当WordNet提供一个名词后,根据它设定的语音层次结构,ImageNet需要对该名词的父类节点同义词进行扩充,并以此作为搜索的关键词。比如“ whippet”分类名词(父类节点为:“dog”)的搜索还会包括“ whippet dog” 。

这类似于我们经常看到的“相关搜索”。为了进一步扩展图像池,数据集创建者还会使用多种语言进行了搜索。

但这里的重点是,对于每个检索到的图像已经确定了标签,如果该标签包含在数据集中,则将分配给该图像。也就是说,标签仅由用于相应搜索查询的WordNet节点给出。

而在这一过程中,WordNet的语义结构会将非主要目标的图像纳入数据集中,进而出现上文提到标记偏差。如论文中的数据显示,同一分类标签却出现了不同的物体目标。(如图)

惨遭下架后,MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet

既然如此,那为什么WordNet名词还能够广泛应用于数据集创建过程中呢?

一方面是因为WorldNet可以完成大量数据的自动标记工作。我们知道,所有数据集在使用前都要先完成标记任务,而一个优秀的数据集规模又是很大的,如果全部手动标记,难度非常高,而WorldNet却可以很好的解决这一问题。

另一方面对于ImageNet而言,WordNet获取的只是初始数据标签,其准确性还需要通过相关模型进行再次验证。总体来讲,ImageNet数据集的创建过程,分为自动图像收集(automated data collection)和众包过滤(crowd-sourced filtering)两个阶段,而众包过滤就是所谓的审核阶段,它分为以下5个步骤:

惨遭下架后,MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet

  • 潜在标签(Candidate Labels):通过现有ImageNet图像标签与模型预测的前5个标签进行组合,获得每张图像的潜在标签。
  • 选择高频率标签(Selection Frequency):通过Mechanical Turk(MTurk)平台,将潜在标签与注释内容对比,经过反复过滤循环后,出现频率最高的为最佳标签(一般少于5个)。
  • CLASSIFY任务:给获得的少量多标签(Multiple labels)重新定义一组新的注释内容,根据注释信息为不同对象赋予标签,并确定一个主要对象的标签,这个过程称为CLASSIFY。
  • 对象注释(Object Annotation):汇总以上训练后,获得更为细粒度的图像注释;

与原始ImageNet标签相比,经过众包过滤后生成的注释能够以更细粒度的方式表征图像的内容,但研究者发现,这些注释内容可能并没有达到期待的效果,如下图,CONTAINS任务会选择多个标签对图像有效,而对于70%的图像而言,注释选择的标签频率至少是ImageNet的原始标签的一半。

惨遭下架后,MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet而且下图表明,尽管只感知到单个对象,它们也经常会选择多达10个类别标签。因此,对于单一目标的图像,ImageNet验证过程也无法得到准确的标签。

惨遭下架后,MIT再爆知名数据集ImageNet存在系统性Bug,祸端还是WordNet

因此,可以说图像标签在很大程度上依然取决于自动检索(WorldNet)过程,同时众包过滤的审查过程还有很大的提升空间。

对于未来如何优化数据集的创建任务,研究人员在论文中表明,我们认为开发注释流程,尤其是审查阶段以更好地捕获基本事实,同时保持可扩展性是未来研究的重要途径。”

涉嫌种族歧视,大规模数据集争议不断

作为人工智能技术的基础,数据集在诸多研究领域都有着广泛的使用场景,尤其是在计算机视觉领域。近些年,因数据集的使用引发的隐私泄露、种族歧视等问题接连不断,导致人工智能技术的发展备受争议。

除了近期麻省理工学院因涉嫌种族歧视而删除了包含8000张图像的Tiny Image数据外,此前,一款图像修复算法PULSE,在学术圈同样引起轩然大波。有网友发现,PULSE在修复马赛克图像时,将奥巴马的人脸图像变成了高分辨率的白人,这一事件引起了黑人网友的不满。

对此,图灵奖之父Lecun发表twitter称,训练结果存在种族偏见,是因为数据集本身带有偏见,工程师在使用过程中应该注意这一点。

今年因数据集而引发种族歧视事件颇多,而解决这些数据集争议,无非是从数据收集和标记阶段进行改进。研究人员称,对于大型数据集,理想的方法是按指定目标在全世界范围内收集图像,并让专家按确切类别进行手动筛选和标记。这里需要注意的是,非专家的人工标记也可能出现错误。

但从当前来看,这种方法非常不切实际。事实上,诸如ImageNet此类数据集均是从互联网搜索引擎抓取的图像,质量参差不齐,而图像审查不够严谨。同时大量数据的专家手动标记也很难实现。不过,如本次研究所称,可以通过技术进一步改善图像自动审查的过程来提高数据集的质量。

此外,目前学术界已经越来越关注数据集相关缺陷问题,在本月初计算机语言协会(ACL)还重点讨论了这一问题。

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

  • 发表于:
  • 原文链接http://news.51cto.com/art/202007/621313.htm
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券