谷歌在Kaggle上发起包容性图像挑战赛

编译：chux

出品：ATYUN订阅号

发布大型公开图像数据集，如ImageNet，Open Images和Conceptual Captions，是推动计算机视觉领域巨大进步的因素之一。虽然这些数据集是开发有用的机器学习模型的必要和关键部分，但根据他们的收集方式已发现一些开源数据集在地理上偏斜。

因为数据集的形状通知机器学习模型学习什么，所以这种偏斜可能导致研究团体无意中开发出对从这些数据集中代表性不足的地理区域绘制的图像执行不太好的模型。例如，下面的图像显示了在Open Images数据集上训练的一个标准开源图像分类器，该分类器没有正确地将“婚礼”相关标签应用于来自世界不同地区的婚礼传统图像。

婚礼照片（由谷歌员工捐赠），由在开放图像数据集上训练的分类器标记。分类器的标签预测被记录在每个图像下面。

虽然谷歌致力于构建更具代表性的数据集，但还希望鼓励在该领域进行更多研究，以便在从不完美的数据源学习时，机器学习方法可以更加强大，更具包容性。这是一项重要的研究挑战，也是推动机器学习模型目前创建方式的界限。良好的解决方案将有助于确保即使某些数据源不完全包容，也可以使用它们开发的模型。

为了支持这项工作并促进开发包容性机器学习模型的进展，谷歌宣布在Kaggle上发起包容性图像挑战赛（Inclusive Images Challenge）。与神经信息处理系统竞赛轨道会议合作开发，本次挑战赛使用Open Images，这是一个大型，多标签，可公开获得的图像分类数据集，大部分样本来自北美和欧洲，用于训练模型，该模型将对从不同地理区域集合收集的图像在全球范围内进行评估。

在这次比赛中，数据的三个地理分布。竞争对手将在开放图像上训练他们的模型，这是一个广泛使用的用于图像分类的公共可用的基准数据集，主要来自北美和西欧。然后，模型首先在挑战阶段1上进行评估，最后在挑战阶段2，每个阶段都有不同的未显示的地理分布。通过这种方式，模型对其在训练数据之外的操作能力进行了压力测试。

对于模型评估，谷歌通过Crowdsource项目创建了两个Challenge数据集，并邀请来自全球各地的志愿者参与贡献周围环境的照片。谷歌希望这些由谷歌全球社区捐赠建立的数据集将为本次竞赛提供具有挑战性的基于地理位置的压力测试。另外的计划是在比赛结束时发布更多的图像，以进一步鼓励包容性发展，提供更具包容性的数据。

来自挑战数据集的标签图像示例。

包容性图像竞赛于9月5日正式启动，提供可用的训练数据和第一阶段挑战数据集。提交结果的截止日期为11月5日星期一，测试集将于11月6日星期二发布。有关更多详情和时间表，请访问包容性图像竞赛网址：www.kaggle.com/c/inclusive-images-challenge

比赛结果将在2018 年神经信息处理系统会议上公布，谷歌将为排名靠前的竞争对手提供参加会议的旅行补助金，谷歌期待成为社区的一份子，开发更具包容性的全球图像分类算法。

排名前5位的竞争者还可以参加2018年12月7日至12月8日的NIPS研讨会。作为NIPS 2018竞赛的一部分，他们还将有机会展示其包容性图像解决方案。