编辑:元子
将时间倒回15年前,2005年,还是一个被算法统治的年代。
刚刚拿到加州理工电子工程学博士学位,到伊利诺伊州香槟分校担任教职的李飞飞敏锐的发现了「算法为王」的局限性,开始研究算法的基石:数据集。
此后,全世界最大的图像识别数据集「ImageNet」诞生。
ImageNet的出现,伴随着一个非常宏大的野心。完整版ImageNet拥有超过1400多万幅图片,涉及2万多个类别标注,超百万边界标注。
2010年到2017年期间,围绕ImageNet共举办了8届 Large Scale Visual Recognition Challenge,包括图像分类,目标检测,目标定位单元。
2017年,挑战赛完结。八年来,参赛选手将算法正确识别率从71.8%提升到97.3%,这样的精度甚至已经将我们人类自己都远远的甩在后面。同时,也证明了数据集越大、效果越好。
近十年来,ImageNet一直是人工感知研究的核心测试平台,它的规模和难度凸显了机器学习领域的里程碑式成就。
但Google和DeepMind的科学家却认为,已有的ImageNet有些落伍了。他们发现,原始的ImageNet标签不再是新标注的最佳预测者,已经被最近的高绩效模型系统性地超越了。
每幅图像只有单一标签
现实世界中的图像通常包含很多标签,但是ImageNet对每幅图像只分配了一个标签,这就导致图像内容的严重表达不足。比如下图第一行,每幅图只标记了一个物体,图中很多物体都被遗漏了。
标签建议限制性过强
ImageNet注释流程是在互联网上查询制定类的图像,然后询问人工评审员该类是否确实存在于当前图像中。
虽然这个过程会产生合理的图像描述,但也会导致不准确的情况。当单独考虑时,一个特定的标签建议,看起来可能是对图像的合理描述;然而当与其他ImageNet类一起考虑时,这种描述马上就显得不那么合适了。
比如上图中间一行第二个更准确的标注应该是「水瓶」,然而从单张图片来看,你说它是水桶也说得过去。最后一个其实是「校车」,但校车上的人,不论是学生还是老师,也都是passenger呀。
分类时的消歧义
例如最下一行中间,laptop的分类虽然是没错,但却忽略了notebook、Computor也同样可以指代同一个对象。如果我们能够将这些标签都用上,显然可以更精准的描述一个物体。
知道了症结所在,接下来就对症下药了。
考虑到孤立地分配一个标签所产生的偏差,Google和DeepMind的研究团队设计了一个标签程序,它能捕获ImageNet数据集中内容的多样性和多重性。
并寻求一种范式,允许人类注释者同时评估一组不同的候选标签,又能保持proposal的数量足够小,以实现稳健的注释。
在模型子集上进行穷尽式搜索,以找到一组能达到最高精度,同时保持97%以上的召回率的模型子集。
在此基础上,科学家找到了一个6个模型的子集,它生成的标签proposal具有97.1%的召回率和28.3%的精度,将每个图像的平均proposal标签数从13个降低到7.4个。从这个子集中,使用上述相同的规则,为整个验证集生成proposal标签。
在获得了整个验证集的新的候选标签集后,首先评估哪些图像需要由人工进行评估。在所有模型都与原始ImageNet标签一致的情况下,就可以安全地保留原始标签而不需要人工重新评估,这样就将需要标注的图像数量就从50000张减少到24889张。
进一步根据WordNet的层次结构,将超过8个标签建议的图像分成多个标签任务。这就导致了37988个标签任务。
使用众包平台,将每个任务分配给5个独立的真人工标注者执行。
下图是在ImageNet上,由Google和DeepMind科学家提出的sigmoid loss和clean label set的Top-1精度(百分比)。
可以看出,无论是sigmoid loss还是clean label set都比Benchmark优秀,而同时使用这两种方法获得了最好的性能。新方法在较长的训练计划下,其改进更为明显。
但是在存在噪声数据的情况下,较长的训练计划可能是有害的,科学加期望清洗 ImageNet 训练集(或使用 sigmoid 损失)能在这种情况下产生额外的好处。
在后续的实验中,科学家发现ReaL标签可以更正超过一半的ImageNet标签错误,这意味着ReaL标签提供了对模型准确性的更优越估计。
论文地址:
https://arxiv.org/pdf/2006.07159.pdf