开发 | 一张图看懂数据科学家、数据工程师和软件工程师之间的区别

大家都知道,这三种角色各有不同定位,也知道他们之间有许多一致的地方,但是否能讲明白这其中的区别呢?

国外 ETL 服务商 Stitch 的 CEO Jake Stein,近日对这个话题进行了总结。他还绘制了一张工具图,来呈现他们在日常工具使用上的不同。对于新手,也可以通过这张图来看典型的“数据科学家”、“数据工程师”和“软件工程师”都要掌握哪些工具。

Jake Stein:随着数据的爆炸式增长,对数据处理的专家技能需求也随之井喷。这带来的结果之一,是更精细的分工。对于数据管理工作的核心角色:数据科学家、数据工程师和软件工程师,过去几年见证了他们越来越清晰的定位。

对于新兴职位“数据工程师”,它算是“软件工程师”下面新浮现出的一个子类别。单列出该职位是一项英美近年来的趋势。但在许多公司,迁移、管理数据仍旧是软件工程师的活。

三种数据职位的不同技能需求

职能概括

软件工程师

软件工程师干的活儿是开发应用和系统。这过程中的每一个环节,从设计、写代码、测试到检查,开发者都要参与。生成数据的产品都是他们开发的。软件工程是三个角色中最古老的一个,并且有相当成熟的方法体系和工具库。

工作内容包括:

  • 前端、后端开发
  • 网页应用
  • 移动应用
  • 操作系统开发
  • 软件设计

数据工程师

数据工程师需要开发能对数据进行整合、存储和提取的系统,并从软件工程师开发的应用和系统中获取数据。数据工程的诞生,是作为软件工程大类下的一个更细分的技能类别。据AI科技评论了解,根据国外统计,40% 的数据工程师原本是软件工程师。AI科技评论获知,这是目前一个很普遍的职业发展道路(软件工程师专注做数据工程)。

工作内容包括:

  • 高级数据结构
  • 分布式计算
  • 并发程序设计
  • 使用 Hadoop, Spark, Kafka, Hive 等新工具
  • 开发ETL/数据流水线(data pipelines)

数据科学家

数据科学家的职责是基于数据作分析。

或许有一只想要更好理解消费者行为的团队,仅仅做一个单次分析。也可能是开发一个机器学习算法,然后将之在软件工程师和数据工程师开发的代码基础上执行。

工作内容包括:

  • 数据建模
  • 机器学习
  • 算法
  • 商业智能的 dashboards

这些角色定位仍在进化之中。有些大公司从软件工程团队中拉出数据工程师,组建一支中央数据团队。这样,基础设施和数据分析工作能在一起。雷锋网获知,有些案例中,数据科学家既需要做数据分析,也需要做数据整合。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-03-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云计算D1net

企业需要规划混合云的5个理由

如今,许多成功的企业正在超越公共云,进入了一个公共云、私有云和传统IT的混合IT新时代。这些组织正在实施混合云策略,因为这有助于他们改进业务运营方式,并为客户提...

3264
来自专栏理论坞

12 个UX设计师典型面试问题 · 助你通过面试

这里有几个典型的UX设计师面试问题,如果你想成功通过你的面试,建议你仔细阅读并做好事前准备。

753
来自专栏互联网数据官iCDO

VR中的数据分析:看见“看不见的”领域

翻译:iCDO翻译志愿者 陈荣芳 ? 虚拟现实(VR)分析将推动数字分析(Digital Analytics)在衡量数字化行动和注意力领域走向更深远的未来。 虽...

3107
来自专栏华章科技

为什么你的数据分析成果总是难以落地?

为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?相信看完这篇文章,每个人都能找到一个属于自己的答案。以下为从事电力、军工、金融等行业担任数据...

652
来自专栏AI研习社

对创业公司的忠告:这么玩数据才不会死

编者注:本文作者 Matthew Coffman,是专注于企业云的风投基金 High Alpha 产品经理。他具有丰富的大数据行业经验,也参与和见证了许多数据公...

3236
来自专栏AI科技评论

开发 | Python赶超R语言,成为数据科学、机器学习平台中最热门语言?

AI科技评论消息,近日,kdnuggets做了一个关于数据科学、机器学习语言使用情况的问卷调查,他们分析了954个回答,得出结论——Python已经打败R语言,...

3629
来自专栏Forrest随想录

NFL:没有免费午餐定理

最近在看机器学习相关的内容,一开始就学到了NFL定理,No Free Lunch Theorem,“没有免费的午餐”定理。这个定理的最重要的寓意就是:

952
来自专栏AI研习社

一张图看懂数据科学家、数据工程师和软件工程师之间的区别

大家都知道,这三种角色各有不同定位,也知道他们之间有许多一致的地方,但是否能讲明白这其中的区别呢? 国外 ETL 服务商 Stitch 的 CEO Jake S...

36112
来自专栏BestSDK

4个要点,让你掌握数据创业的精髓

首先,我们需要明确一个概念:什么是数据科学家? 一般的定义是:能够采用科学方法、运用数据挖掘工具对复杂多量的信息进行数字化重现与认识,并能从中找出新的数据洞察的...

2727
来自专栏钱塘大数据

【钱塘号】企业大数据的实时分析之路

“2016易观A10大数据应用峰会”主论坛“大数据基础框架设计-实时分析技术平台洞察与实践”上,易观CTO郭炜发表了“企业大数据的实时分析之路”的主题演讲,从技...

40310

扫码关注云+社区