数据科学的十大常见误区 你中枪了吗?

原作者 Shane Brennan 编译 Mika 本文为 CDA 数据分析师原创作品,转载需授权

对于数据科学领域的新手来说,以下的十大常见误区每一条都是血与泪的教训。

对于数据科学领域的初学者和职场小白来说,理想往往很美好,现实却很骨感。理想的数据科学世界与现实中遇到的问题之间往往存在着鸿沟。

许多数据分析课程都旨在教授学生编程、统计学、数据整理等方面的基础知识。然而却极少涉及在实际的数据科学工作中会遇到的挑战。

数据分析课程提供了数据和工具,并要求你得到预期的结果。而在实际工作中可能不会给你提供数据,也不会提供适当的工具,甚至不知道预期结果是什么。此外,公司通常有严格的截止日期,而且提出分析要求的人对统计的理解也是有限的。

为了让你掌握完成数据分析任务的技能,大学的数据科学课程有意降低了当中的障碍,从而让你专注于核心的数据科学部分。随着课程的内容不断丰富,介绍了统计分布,假设检验,分类器和各种工具,比如R,SPSS,Python和RapidMiner。最后,在掌握了基本知识之后,你会得到一个非常干净的数据集,并被要求对随机森林和其他类型的分类器进行对比。

当然,这种类型的学习能够为你以后的职业生涯打下基础,和任何书本知识的作用一样。但是这些理想化的项目与现实的工作相比,需要经过一个漫长而痛苦,并且需要不断调整的过程

对于数据科学领域的新手来说,以下数据科学的十大常见误区每一条都是血与泪的教训。

1.数据是存在的

首先对特定的分析任务,假设存在可用的数据是这项工作的前提。似乎这是最基本的假设,但是很多情况下会发现,被要求分析的某些数据集并不存在,无法访问,缺少通常的标识符等等。

在开始任何任务之前第一个问题就是,基础数据是否存在。如果盲目地开始,并接受截止日期是很不明智的。最糟糕的情况下,你会孤立无援,手上没有任何数据,并被要求完成不可能实现的分析任务。

在这种情况下,你恨不得用任何与数据有关的东西来交差,但这将不可避免地导致错误的结论和工作上的指责。如果数据是完全缺失的,请提前说出来。如果数据不完整,也请提出来。但不要把这个当做万能的借口来罢工,毕竟不可能有人帮你把数据集整理好并交到你的手上。

2.数据是可访问的

很好,你已经确认所需要的数据集实际存在于某个地方,而且据说基本上是完整的。现在,下一个障碍是这个数据是否能在一定的时间内提供给你。由于法律,合同或财务等方面的原因,提供免费而简单的访问渠道并不符合数据所有者的最佳利益。即使在个别公司内部,获得数据也不是那么简单的,可能会遭到拒绝。一旦涉及到资金问题,特别是在数据管道中有外部参与者的情况下,有时你会发现一行SQL查询都会被当作一个大项目,同时也是一笔巨大的账单。

因此,每个精明的数据科学家的目标都是成为自己数据管道的共同管理者,从而在获得数据方面会轻松一些。

3.数据是一致的

出于明智的考虑,最好找到一个一致的数据集,结构良好,前后一致并且格式定义明确。发现一个数据文件突然从19列变成20列,或者相同数据不同版本中列的顺序发生变化,这别提有多闹心了。

就像所有不受欢迎的意外一样,一些错误通常会在最后一刻出现。当你在R Studio中调用read.csv()函数来查看数据时,当看到即使数据看起来是一致的,当看到讨厌的UTF-8字符,或者一个文件中看到日期格式从 YYYYMMDD变成MM-DD-YY之类的,此刻内心一定是崩溃的。

要记住,尤其是当依赖传统系统的数据管道时,除非数据源是由数据科学家或数据工程师设计的,否则它可能会根据不同的操作出现各种错误。

4.数据是相关的

初露头角的数据科学家可能会发现,他们期待已久的数据集既不是最新的,也不是分析所需的级别。

Google Analytics可以说是分析Web用户行为中使用最广泛的来源,但有进行详细分析时存在一些问题。首先,它很难识别Web用户。其次,令人不安的是GA提供的总页面浏览量是“估算值”,而不是实际的统计量。因此,由于不相关的数据,一些合理的要求变得难上加难。例如,当要求用户登录某网址的预测留存率时,GA数据几乎没有用。

5.数据是直观易懂的

很多时候我拿到数据集会发现,这个数据集就像古代文字一样很难破译。领域特定的代码,截断的文本字段,缺少的查询表,缺少或命名错误的标头字段都会导致数据的难以理解。

“垃圾进,垃圾出”(garbage in,garbage out)的做法往往会导致难以理解的数据在输出结果中被忽略。而最坏的情况下,当你在寻找所谓的HEADER_1文件时,会带来一系列的不必要问题。除非在分析中有对数据的详细描述,否则你可能不知道测量的究竟为何物。

6.数据可以被处理

有一个600MB的CSV文件,你需要在一台老旧的低配笔记本电脑上,使用Excel VLOOKUP函数与另一个600MB的CSV文件进行对比。对于数据科学家新手,尤其是那些在大型企业工作的来说,会惊讶的发现,数据科学工具被认为与IT领域的其他软件应用程序没有区别。

开源工具有时不受欢迎,没有安装权限,任何工具必须符合一些不为所知的IT安全认证。IT工作者有时需要为很完善的软件包提供详细的安全审计。还有一些功能完善、先进的软件应用因为供应商“太便宜”或者“没有指定的某某供应商”,被IT行业的老板拒绝。

除了处理大数据集的简单技术问题之外,IT行业存在一些规则,让你获得需要的工具来处理手头的任务。有人被迫使用Excel来执行V-Lookups,用来连接两个数据集,因为没有人提供更好的工具。这种短期的IT限制会导致,处理单个文件就需要好几个小时。然而若给出一些代码和并行操作,这只需几分钟就可以自动完成。

7.分析可以轻松地重新执行

“你还记得三个月前帮我做的分析吗?这是最新的市场数据,你能帮我重新运行吗?谢了!”

这类似于有人给你一块拼图,并要求你在很短的时间内重新拼好,因为你之前已经拼过了。或者类似想住到危房里,因为在过去这是很宜居的。

除非你明确地设置了分析可以重新执行,并且保持数据源是当前的状态,否则后续更新和重新导入内容去获得更新的分析是万分痛苦的。这还没考虑到使用的数据是否是静态的,或者数据库模式是否改变。

因此,如果你被要求执行一个听起来很大型的分析任务工作,设计一下bugger,从而能够很容易地重新运行,这样能够尽可能减少自己的工作量

8.不需要加密

你已经完成了分析,编写好了报告和幻灯片,现在需要将数据发送给其他人审查。接着将所有客户资料的数据以纯文本格式粘贴到电子邮件中,那么会出现什么问题呢?如果邮件发送地址填错的话,很可能发错人,最惨地是把公司的详细的财务分析错误地发给了竞争对手!

对发送的任何数据加密是有道理的。安全是第一考虑要素,做好善后工作是第二个原因,除此之外还有很多其他原因。

在将任何东西发送给任何人之前,首先就需要对访问原始数据和分析结果进行一定程度的加密。如果你无法安装某些GPG客户端(因为这会违反安全条款),那么必须通过加密的文件格式进行加密,比如受密码保护的Excel或加密的zip。

9.分析输出很容易分享和理解

面对现实吧,大多数看到你分析结果的人几乎没有任何分析基础。他们可能会不懂装懂,要求你在分析中加上更多的功能来,声称在使用之前需要被数学验证过。有些人只寻找某些特定p值,有些人则仅凭直觉,结果是你的分析被各种质疑。

因此,你需要将结果转化为更容易被他人理解。

10.你要找的答案就在那里

有点像寻找复活节彩蛋,即暗示任何数据科学项目的预期目标都是可以实现的,只要给出一定时间和一些工具。然而,没有好心人会帮你在数据中加料,从而得出有用的结论。

想知道为什么网站的点击率在这个月下降了?想知道为什么清楚顾客更喜欢产品A而不是产品B?这些分析需求中预先带有预期结果,这往往不利于正确的科学研究。

原文链接:

https://towardsdatascience.com/the-ten-fallacies-of-data-science-9b2af78a1862

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2017-11-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯云技术沙龙

陈新宇:CKafka在人脸识别PAAS中的应用

我叫陈新宇,在格灵深瞳负责数据流的研发,首先特别感谢如今老师,他们把Kafka一个优秀的消息中间件写出来,也感谢腾讯云做了调优工作,现在就该到我们这些做应用的人...

1.2K50
来自专栏跨界架构师

如何一步一步用DDD设计一个电商网站(一)—— 先理解核心概念

    DDD(领域驱动设计)的一些介绍网上资料很多,这里就不继续描述了。自己使用领域驱动设计摸滚打爬也有2年多的时间,出于对知识的总结和分享,也是对自我理解的...

23920
来自专栏ThoughtWorks

编程的精进之法|洞见

仝健 ThoughtWorks 编程,众所周知被定义为知识工作。所有的知识工作,从业者和门外汉都喜欢把它神秘化,将整个过程以不可知论的风格来解释。理由往...

37870
来自专栏华章科技

从大数据中挖掘什么?

大数据挖掘中最重要的是决定挖掘什么样的知识,这是在数据的收集、处理、挖掘的整个过程中都需要认真考虑的问题。本文首先提出大数据挖掘的几项策略,即尽量设想挖掘的场景...

7720
来自专栏软件测试经验与教训

如何评审测试用例

2. 用例评审时按着用例一条条讲,讲到最后自己都不知道该说什么了,好像大家都挺懵逼的?

20210
来自专栏web前端教室

遇到一个烂项目,感觉学不到东西,怎么办?

找工作不容易,所以找到一个工作,按理说应该格外珍惜。但是,世上有一种东西叫鸡肋,弃之可惜,食之无味。有的公司就像鸡肋,干吧,公司业务乱成一团,没有文档不说,曾经...

227100
来自专栏技术翻译

讨论软件架构的30个共同原则

想象一下飞越架构评论。一位建筑师走进来,看着,通过他的双筒望远镜凝视着他。他提供的评论通常过于通用或脱离背景。评论经常遭到震耳欲聋的沉默或激动人心的争论。如果有...

25530
来自专栏CSDN技术头条

9款国内外垂直领域的在线作图工具:那些可以替代Visio的应用

责编/钱曙光 现在越来越多的创业公司都希望提升办公的效率,之前在CSDN云计算频道的一篇文章《提升办公效率才是王道!12款国内外企业协作工具推荐》,其中就介绍了...

59550
来自专栏斑斓

以RAID分析作为架构驱动力

寻找架构驱动力 人类自开始学会以智慧洗亮观察世界的双眼之后,就明白观察事物不能浅尝辄止停留在表面现象,而要去看透本质。通过本质规律去建模世界,才能以“一”推演万...

35740
来自专栏PPV课数据科学社区

如何用Python一门语言通吃高性能并发、GPU计算和深度学习

有奖转发活动 回复“抽奖”参与《2015年数据分析/数据挖掘工具大调查》有奖活动。 为了帮助IT从业者职业之路拥有更多收获,在诸多C粉的殷切期待下,由 CTO俱...

53070

扫码关注云+社区

领取腾讯云代金券