我的第一份数据科学实习

作者 Admond Lee

编译 Mika 本文为 CDA 数据分析师原创作品,转载需授权

在写本文时,这是我在Quantum Inventions公司实习的最后一天。当我坐在电脑屏幕前,反思过去几个月的学习历程,我感到非常的满足。

在实习即将结束时,萦绕在我脑中的问题是:我学到了些什么?这是我想要的吗?

作为一名物理学家,我习惯通过推理解答问题从而来寻求真相。事实上,对数据科学家来说,问合适的问题也是至关重要的

本文分为三个部分:实习前,实习期间,实习后。当中记叙了在这段经历中我所得到的收获。也欢迎阅读我上一篇文章《我是如何从物理学转行到数据科学领域》。

实习前

我仍然清楚地记得,在2017年11月的期末时我开始阅读《统计学习导论:基于R应用》(An Introduction to Statistical Learning — with Applications in R)。这是第一次接触到基础的机器学习知识。

一旦掌握了这些概念之后,我就开始学习热门的课程Coursera上吴恩达的《机器学习》。虽然刚开始的时候并不那么轻松,但是吴恩达能够吸引人们的注意力,用简单的方式解读复杂的概念。这也许就是我喜欢上机器学习的原因之一。我也强烈建议你试试,机器学习并没有听上去那么高大上和复杂。

同时,我开始学习人工智能的另一个重要领域——深度学习。

在掌握了一定的基础知识之后,我在2017年12月开始了我的第一份数据科学实习。

实习期间

Quantum Inventions专注于向消费者、企业和政府智能交通服务。我是第一位加入研发和分析团队的数据科学实习生。

在刚开始的几天,我认识到了许多出色的同事,接触到许多行业术语以及正在进行的项目。在这次实习中,Quantum Inventions给了我足够的信任和自由,让我能够选择感兴趣的项目,并为其而努力。

令我吃惊的是,目前我着手的这个项目是之前没有人做过的。这时就需要大量的研究,存在许多不确定性和困难,但是我仍然乐在其中。为什么呢?很简单,因为我能够有机会从头开始体验整个数据科学工作流程。

下面我将列出我所经历的工作流程,在这一过程中为我进入数据科学领域打下了一定的基础。希望能够给你带来一些帮助。

1. 了解业务问题

我所选的项目是预测短期高速公路行程时间。正如我所说的,提出合适的问题对数据科学家来说非常重要。 在项目完成前,需要提出大量的问题,从而了解实际的业务问题:可用的数据源,项目的最终目标等等。我们的目标是更准确地预测新加坡高速公路行程时间。

2. 收集数据源

我对新项目感到十分兴奋,然后我开始从数据库等渠道收集数据源。收集正确的数据源类似在不同网站抓取数据,以便稍后进行数据预处理。这一过程非常重要,这可能会影响你在后期建立模型的准确性。

3. 数据预处理

真实世界的数据并不那么理想。我们不能期望会获得Kaggle比赛中那样格式良好且干净的数据。因此,数据预处理(也称为数据管理或数据清理)至关重要。该过程占到整个工作流程的40%-70%,对提供给模型的数据进行清理。

Garbage in, Garbage out。(无用输入,无用输出)

我喜欢数据科学的一点在于,你必须对自己诚实。如果你没有把握,认为预处理的数据已经足够干净,并可以提供给模型,那么将存在使用错误数据构建模型的风险。换句话说,你需要从专业的角度质疑自己,确认数据是否可以使用。严格用阈值检查数据,确认整个数据集中是否存在其他异常、缺失或不一致的数据。

我对这个过程格外谨慎,之前我仅仅因为预处理步骤中的小疏忽就给模型提供了错误的数据。

4. 建立模型

经过一番研究,对于项目我提出了以下四个模型:支持向量回归(SVR),多层感知器(MLP),长期短期记忆网咯(LSTM)和状态空间神经网络(SSNN)

对于还在学习在线课程的我来说,从头开始构建不同的模型无疑是十分困难的。幸运的是,Scikit-learn and Keras拯救了我,因为它们很容易学习,能够快速构建原型模型,并用Python进行编写。此外,我还学习了如何使用多种技术优化模型,并调整每个模型的参数。

5. 模型评估

为了评估每个模型的性能,我主要使用了以下指标:

· 平均绝对误差(MAE)

· 均方误差(MSE)

· 测定系数(R2)

在这个阶段,重复步骤3-5(可互换),直到得出的最佳模型能够超越基线估计。

实习后

这次实习加深了我对数据科学领域的热爱,这段经历为我之后的工作也提供了一些动力。我也大大提高了自身的能力,比如与不同人群进行利益的沟通技巧,利用数据解决业务问题等等。

数据科学行业还是一个新兴领域,对于我们这些求职者来说,有时当中的一些工作描述可能有些模棱两可。因此在求职时,发现自己不具备岗位所需的全部技能是完全正常的,因为大多数工作描述都是按照理想的方式写的,从而符合雇主的期望。

当在学习或工作中遇到疑问时,你可以从在线课程、书籍和文章中进行学习,这也是我仍在做的,并通过个人项目或实习来应用所学到的知识。请耐心一点,学习的过程需要大量的精力和时间。

在最后,记得问自己:你学到了什么?这是你要的吗?

原文链接:

https://towardsdatascience.com/my-first-data-scientist-internship-7f7aa2ee4040

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2018-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

Facebook、微软、谷歌三大研究巨头齐聚首,共同探讨人工智能发展现状和趋势

AI 科技评论消息,日前 AAAS 在 reddit 上组织了一场问答,Facebook 人工智能研究院 Yann LeCun,微软研究院院长 Eric Hor...

34550
来自专栏量子位

“寓教于乐”,DeepMind新研究让机器人从0开始学习复杂精细动作

? 别小看这个笨拙地抓起、移动着物体的机器人,它可是DeepMind的最新研究成果。 有什么特别之处呢?这个机械臂可是在现实世界中直接训练的,没有搞现在模拟器...

32840
来自专栏新智元

研究提出能够自我解释的 AI 算法,辅助理解机器决策过程

【新智元导读】加利福尼亚大学伯克利分校和马克斯普朗克信息学研究所的研究提出了一种能够自我解释的算法,有助于让人类理解机器学习的决策过程。这种被称为“指向和对齐”...

38890
来自专栏人工智能头条

推荐算法不够精准?让知识图谱来解决

50220
来自专栏PPV课数据科学社区

经验谈:数据挖掘七步走

Step1.商业理解 就是商业问题的理解了,那么如何更好的理解“老大”提出的商业问题困惑呢?我觉得思维导图倒是个不错的选择,当然自己要想更好的理解“老大”的意思...

29850
来自专栏镁客网

技术 | 看Deepmind机器人尬舞,边玩边学人工智能

20630
来自专栏AI研习社

数据科学、机器学习、人工智能,都有哪些区别?

当我向别人介绍我是数据科学家时,我常常被问到“数据科学和机器学习有什么区别”或者“这是否意味着你在从事人工智能工作?”类似问题我已经回答过很多次,答案可以总结成...

40390
来自专栏新智元

IEEE特稿:神经形态芯片注定为深度学习而生,否则就是自取灭亡

【新智元导读】研究者声称神经形态芯片相比传统的CPU,耗能更小。但现在的问题是,研究者需要证明,神经形态芯片能够从研究实验室转移到商业应用中吗。用航空业打比方的...

42270
来自专栏AI科技评论

深度 | Facebook AML实验室负责人: AI技术落地的N种方法

(Facebook AML实验室负责人 Joaquin Candela) 编者按:在Facebook,有两个实验室领导着AI发展方向,一个是Yann LeCun...

532150
来自专栏AI研习社

Facebook、微软、谷歌三大研究巨头齐聚首,共同探讨人工智能发展现状和趋势

AI 研习社消息,日前 AAAS 在 reddit 上组织了一场问答,Facebook 人工智能研究院 Yann LeCun,微软研究院院长 Eric Horv...

35070

扫码关注云+社区

领取腾讯云代金券