谷歌新竞赛：在欧美长大的AI，也要认识亚非拉的生活丨可参加NIPS

郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI

两年前，谷歌的视觉识别AI曾经把黑人标成大猩猩，被世人diss了一番。

可见，当时那只AI是多么的眼光狭隘、没见过世面。

于是，谷歌今年决定要“众筹”一只天生思维开阔、想象力丰富的AI，即使它只见过欧美人的生活，也要扩展到全球各地各种文化中去。

“众筹”的方式是——办一场包容性图像挑战赛（Inclusive Images Challenge），参赛队伍只用北美的图像数据集来训练，之后来识别亚非拉等各国的照片，判断照片上的事物。

这场比赛是谷歌和Kaggle及NIPS一起合办的，是NIPS 2018 Competition Track的八场比赛（下图）之一，比赛报名通道在Kaggle上，前五名优胜者可以参加NIPS的workshop环节，抢不到NIPS票的盆友可以考虑一下，还可以获得每个团队5000美元的参会基金，冠军方法会被写进NIPS出的书中。

如何“包容”？

这场比赛的“包容性”在于，训练集和测试集来自来自不同的国家，不同的地方，有不同的文化背景。因此，能胜出的模型一定具有足够的地理包容性。

参赛者可用的训练集是Open Images数据集的一个子集，包含1,743,042个图像，主要来自北美和欧洲。不允许使用外部数据，除了图像之外，参赛者还可以利用维基百科文本数据来改进训练。

而测试集则是来自谷歌的众包项目，图片由Crowdsource APP用户全球各地拍摄并捐赠，另外还有一些付费承包商提供额外的图像。因为训练集图像基本都来自欧洲和北美，所以测试集主要会是来自亚洲非洲和南美的图像，至于是哪些国家嘛，比赛结束后会公布。

不过，由于需要在Kaggle上显示实时的排名，这项比赛准备了Challenge Stage 1和Challenge Stage 2两个测试集，前者用来给出Kaggle的排行榜，后者会留到最后才派上用场，作为最终成绩的测试集，以此给出比赛排名，两个不同数据集的地理分布会有所差别。

另外，为了保护个人隐私，测试集里所有的人脸都是打了马赛克的。由于打了码，模型在测试中的成绩可能会略低，不过好在，所有参赛队伍的模型都会受到马赛克的影响，所以相对排名不变，不影响比赛公平性。

比赛规则

这场比赛可以组队参加，每个团队最多8个人，每天可以提交最多5个模型，不过最终只能用1个模型参加评比。

评估方式

比赛的成绩评估是按照Mean F2分数来计算的，也就是beta值为2的F-score。

时间表

9月5日，比赛正式开始； 10月29日停止报名，同时停止组队； 11月5日，比赛第一阶段结束，上传模型截止，未能在第一阶段截止日期前上传模型或模型不符合比赛规则的提交者可能会被取消第二阶段的资格并从最终排行榜中删除； 11月6日，比赛第二阶段开始，新测试集登场； 11月12日，比赛第二阶段结束，最终提交DDL； 11月26日，出结果； 12月3日-8日，前五名优胜者可以去参加NIPS了，另外关于本比赛的workshop会在NIPS的最后两天举办。

注意这些截止日期都是UTC时间，比北京时间要晚八个小时。

模型资格要求

根据竞赛规则，参赛队伍提交的模型必须遵守这些要求，主办方会验证模型是否符合要求：

提交的唯一贡献必须是建模技术（与新的辅助标记图像数据集相对）； 最终提交必须仅包含机器生成的标签； 具有最高提交要求的参赛队伍将被要求提供使用其锁定模型和允许的训练数据来重现其结果的方法； 参赛队伍可以使用比赛页面上介绍的数据，不可使用其他数据训练； 参赛队伍不可以使用预训练模型来热启动模型，或直接使用预训练模型来训练； 模型必须仅基于图像输入进行预测。在推理时，不允许将关联的元数据（例如图像ID或创建者的名称）用作输入。

500美元的计算资源福利

为了不让贫穷的团队被拒之门外，主办方会给符合资格的前500名参赛者提供价值500美元的Google Cloud积分，可以作为本次比赛的计算资源。

只限前500哦，想参加的盆友抓紧时间。

现在，已经有41个团队报名了，离给500美元Google Cloud计算资源还差459个团队，量子位先说到这里，有兴趣的读者朋友快戳下面Kaggle链接报名吧，先到先得哦。

传送门

谷歌博客： https://ai.googleblog.com/2018/09/introducing-inclusive-images-competition.html

Kaggle： https://www.Kaggle.com/c/inclusive-images-challenge

NIPS比赛页面： https://nips.cc/Conferences/2018/CompetitionTrack