自动机器学习第一次！KDD首次开办AutoML竞赛

雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI

KDD首次，也是自动机器学习的首次。

2019年国际数据挖掘顶级会议KDD (ACM SIGKDD CONFERENCE ON KNOWLEDGE DISCOVERY AND DATA MINING)，已正式公布了KDD Cup 2019三项重大比赛。

其中，首次引入的AutoML Competition挑战赛。

现在，数据集已放出，挑战赛已开赛，7月16日将开始评审，7月20日会宣布KDD Cup冠军。

第一名将获得15000美元奖金。

比赛详情

本次AutoML竞赛由第四范式和微软承办，参赛选手将利用时序关系数据，设计一个能够自主（无人为干预）实现监督学习的AutoML计算机程序。

该比赛将聚焦在二分类问题，且时序关系数据均来自实际业务场景。

根据大多数实际应用的时间属性，数据集按时间顺序划分为训练集和测试集。

训练集和测试集都由一个主表、一组相关表和一个关系图组成：

主表包含带有样本标记、部分特征和时序标签的实例，用于二分类。

相关表包含了主表中实例的重要辅助信息，可用于提高预测效果。相关表中的字段可能含有时间标签，意味着该表中的信息与时间有关。

不同表中数据之间的关系用关系图描述。需要注意的是，任何两个表（主表或相关表）都可以有一个关系，任何一对表最多只能有一个关系。

主办方保证训练集和测试集的关系图是相同的。

参赛者需要提交通过主表、相关表和关系图自动构建机器学习模型的AutoML方案。

一旦经过训练，模型将以测试主表（不包括样本标记）、相关表和关系图作为输入，并预测测试集的样本标记。参赛者提交的方案将在受限制的计算资源和时间内进行测试。

为了让参赛者能够更好的开发并评估方案，主办方提供了10个时序关系数据集，其中5个公共数据集，5个私有数据集。

数据集地址如下：

https://www.4paradigm.com/competition/kddcup2019#data

比赛流程

本次挑战赛分为Feedback（反馈）、Check（校验）、AutoML（盲测）3个阶段。

Feedback阶段，参赛者基于公开数据集设计并提交AutoML方案。

Check阶段，方案在参赛者无法看到效果的条件下，在私有数据集上进行测试，确保方案在下一阶段顺利运行。

AutoML阶段将测试方案在私有数据集上的性能，无需人为干预情况下完成训练和预测，最终按照AUC进行排名。

具体时间表为：

2019年4月1日：比赛开始，发布公共数据集。参与者可以开始提交代码并在排行榜上获得即时反馈信息。

2019年6月27日：Feedback阶段结束，Feedback阶段的代码自动迁移到Test阶段。

2019年7月7日：Check阶段结束，主办方开始代码验证。 2019年7月11日：提交报告的截止日期。 2019年7月16日：AutoML阶段结束，开始评审流程。 2019年7月20日：宣布KDD Cup冠军。 2019年8月4日：在KDD上举办颁奖仪式

奖金情况：

• 第一名：15000美元
• 第二名：10000美元
• 第三名：5000美元
• 第4-10名：每人500美元

报名资质

最后，再介绍下报名资质：

本次竞赛将在CodaLab竞赛平台上进行。

本次竞赛对所有感兴趣的研究人员、专家和学生完全开放，竞赛组委会成员及相关人员不得参赛。

参赛者可以由一人或多人组成的团队提交方案。

每个团队都需要指定领队，负责与组织者沟通。

一个人只能加入一个团队。

根据AutoML阶段的最终得分来选出比赛的胜利者。

若最终比分相同，则优先考虑解释性更好的方案。

每个参赛团队都必须提供描述其最终解决方案的简短报告（情况说明书）。

通过参加本次竞赛，您将授权组织者权利，对您提交的作品以进行评估和赛后研究。

所有参赛队伍必须在Check阶段两周前至少有一次成功的代码提交，否则视为无效队伍，不参与最终评测。

传送门：

https://www.4paradigm.com/competition/kddcup2019#data

— 完 —