数据科学 Kaggle入门最权威指南

这次酝酿了很久想给大家讲一些关于Kaggle那点儿事，帮助对数据科学(Data Science)有兴趣的同学们更好的了解这个平台，最好能亲身参与进来，体会一下学校所学的东西和想要解决一个实际的问题所需要的能力的差距。虽然不是Data Science出身，但本着严谨的科研态度，在进行了大量的调研、学习以及对相关经验者的访谈之后，决定写下这篇专栏，一方面让那些对数据科学（Data Science）有兴趣的求职者和申请者能真正了解这个项目，另一方面也让那些有想法参与进来的人get到正确的打开方式。

注：本文只允许ApplySquare（申请方）的相关媒体转载，其他不给予转载权。

什么是Kaggle？

Kaggle成立于2010年，是一个进行数据发掘和预测竞赛的在线平台。从公司的角度来讲，可以提供一些数据，进而提出一个实际需要解决的问题；从参赛者的角度来讲，他们将组队参与项目，针对其中一个问题提出解决方案，最终由公司选出的最佳方案可以获得5K-10K美金的奖金。

除此之外，Kaggle官方每年还会举办一次大规模的竞赛，奖金高达一百万美金，吸引了广大的数据科学爱好者参与其中。从某种角度来讲，大家可以把它理解为一个众包平台，类似国内的猪八戒。但是不同于传统的低层次劳动力需求，Kaggle一直致力于解决业界难题，因此也创造了一种全新的劳动力市场——不再以学历和工作经验作为唯一的人才评判标准，而是着眼于个人技能，为顶尖人才和公司之间搭建了一座桥梁。

Kaggle的竞赛模式是什么样的？

Kaggle上的竞赛有各种分类，例如奖金极高竞争激烈的的 “Featured”，相对平民化的 “Research”等等。但他们整体的项目模式是一样的，就是通过出题方给予的训练集建立模型，再利用测试集算出结果用来评比。同时，每个进行中的竞赛项目都会显示剩余时间、参与的队伍数量以及奖金金额，并且还会实时更新选手排位。在截止日期之前，所有队伍都可以自由加入竞赛，或者对已经提交的方案进行完善，因此排名也会不断变动，不到最后一刻谁都不知道花落谁家。

由于这类问题并没有标准答案，只有无限逼近最优解，所以这样的模式可以激励参与者提出更好的方案，甚至推动整个行业的发展。

Kaggle竞赛另一个有趣的地方在于每个人都有自己的Profile，上面会显示所有自己参与过的项目、活跃度、实时排位、历史最佳排位等，不仅看上去非常有成就感，更能在求职和申请的时候起到Certificate的作用。

Kaggle参赛者的背景大多是什么样的？

从比赛目标出发，参赛者主要分为两种，一种是以奖金和排名为目的，包括靠奖金为生的职业Kaggler；另外一种就是以提升相关skills和背景为目的业余爱好者甚至在校学生了。

从背景来看，前者的来源主要有丰富data science、data mining、machine learning工作经验的业内人士，或者是实力强劲的民间“技术宅”；而后者则往往是一些有一定技术能力，但经验欠缺，从中进行学习和锻炼的“长江后浪”。

零基础的人如何上手Kaggle？

理论上来讲，Kaggle欢迎任何数据科学的爱好者，不过实际上，要想真的参与其中，还是有一定门槛的。一般来讲，参赛者最好具有统计、计算机或数学相关背景，有一定的coding技能，对机器学习和深度学习有基本的了解。Kaggle任务虽然不限制编程语言，但绝大多数队伍会选用Python和R，所以你应该至少熟悉其中一种。此外，对于那些对成绩有追求的人，Feature Engineering也是必不可少的。但对于Data Science的入门者来说，这样的要求实在是有些过分了。

当然，如果你从未独立做过一个项目，还是要从练习赛开始熟悉。因为竞赛模式中的任务是公司悬赏发布的实际案例，并没有标准的答案；而练习赛不仅项目难度低，而且是有官方给出的参考方案的，大家可以用来对比改善自己的测试结果，从中进行提高。所以呢，建议感兴趣的同学先去独立做一下101和playground的训练赛，至于做多少个案例才能上道，就要看个人素质啦。这里为大家推荐几篇非常好的文章，里面手把手的教了大家入门级的三个经典练习项目，供大家学习。

1. Titanic（泰坦尼克之灾）

中文教程： 逻辑回归应用之Kaggle泰坦尼克之灾

英文教程：An Interactive Data Science Tutorial

2. House Prices: Advanced Regression Techniques（房价预测）

中文教程：Kaggle竞赛 — 2017年房价预测

英文教程：How to get to TOP 25% with Simple Model using sklearn

3. Digital Recognition（数字识别）

中文教程：大数据竞赛平台—Kaggle 入门

英文教程：Interactive Intro to Dimensionality Reduction