开发 | 一张图看懂数据科学家、数据工程师和软件工程师之间的区别

大家都知道,这三种角色各有不同定位,也知道他们之间有许多一致的地方,但是否能讲明白这其中的区别呢?

国外 ETL 服务商 Stitch 的 CEO Jake Stein,近日对这个话题进行了总结。他还绘制了一张工具图,来呈现他们在日常工具使用上的不同。对于新手,也可以通过这张图来看典型的“数据科学家”、“数据工程师”和“软件工程师”都要掌握哪些工具。

Jake Stein:随着数据的爆炸式增长,对数据处理的专家技能需求也随之井喷。这带来的结果之一,是更精细的分工。对于数据管理工作的核心角色:数据科学家、数据工程师和软件工程师,过去几年见证了他们越来越清晰的定位。

对于新兴职位“数据工程师”,它算是“软件工程师”下面新浮现出的一个子类别。单列出该职位是一项英美近年来的趋势。但在许多公司,迁移、管理数据仍旧是软件工程师的活。

三种数据职位的不同技能需求

职能概括

软件工程师

软件工程师干的活儿是开发应用和系统。这过程中的每一个环节,从设计、写代码、测试到检查,开发者都要参与。生成数据的产品都是他们开发的。软件工程是三个角色中最古老的一个,并且有相当成熟的方法体系和工具库。

工作内容包括:

  • 前端、后端开发
  • 网页应用
  • 移动应用
  • 操作系统开发
  • 软件设计

数据工程师

数据工程师需要开发能对数据进行整合、存储和提取的系统,并从软件工程师开发的应用和系统中获取数据。数据工程的诞生,是作为软件工程大类下的一个更细分的技能类别。据AI科技评论了解,根据国外统计,40% 的数据工程师原本是软件工程师。AI科技评论获知,这是目前一个很普遍的职业发展道路(软件工程师专注做数据工程)。

工作内容包括:

  • 高级数据结构
  • 分布式计算
  • 并发程序设计
  • 使用 Hadoop, Spark, Kafka, Hive 等新工具
  • 开发ETL/数据流水线(data pipelines)

数据科学家

数据科学家的职责是基于数据作分析。

或许有一只想要更好理解消费者行为的团队,仅仅做一个单次分析。也可能是开发一个机器学习算法,然后将之在软件工程师和数据工程师开发的代码基础上执行。

工作内容包括:

  • 数据建模
  • 机器学习
  • 算法
  • 商业智能的 dashboards

这些角色定位仍在进化之中。有些大公司从软件工程团队中拉出数据工程师,组建一支中央数据团队。这样,基础设施和数据分析工作能在一起。雷锋网获知,有些案例中,数据科学家既需要做数据分析,也需要做数据整合。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-03-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

一张图看懂数据科学家、数据工程师和软件工程师之间的区别

大家都知道,这三种角色各有不同定位,也知道他们之间有许多一致的地方,但是否能讲明白这其中的区别呢? 国外 ETL 服务商 Stitch 的 CEO Jake S...

34912
来自专栏云计算D1net

云计算是数据分析的最佳场所吗?

数据分析正在成为企业数据生态系统的关键要素。它是物联网(IoT)的主要推动力之一,无疑将为数字经济的发展提供关键的竞争优势。 但其成本并不低,而且并不容易掌握...

3006
来自专栏黄Java的地盘

《团队的秘密——如何打造高绩效的卓越团队》读书笔记

2347
来自专栏云计算D1net

Gartner:十大最危险的云计算错误观念

计算概念自诞生以来就无法摆脱误解、困惑和炒作,这么多年过去了,从普通消费者到财富500强CEO依然经常陷入云计算误区。近日Gartner总结了十大最危险的云计算...

3167
来自专栏CDA数据分析师

如何打造数据科学团队,你想知道的都在这里

本文的两位作者分别是 Instacart 负责数据科学业务的副总裁 Jeremy Stanley,以及技术顾问、LinkedIn 前数据业务负责人 Daniel...

940
来自专栏SDNLAB

2017年云计算行业最受追捧的3个职位

我们经常能听到别人讨论云计算领域最好的工作是什么?哪些云计算领域的工作薪酬最高?以下是我们根据工作需求、薪资和工作稳定性筛选出来最好的三个职位。 ? ❆ 云计算...

2454
来自专栏PPV课数据科学社区

【干货】因职业角色而异的十大数据科学技能

有奖转发活动 回复“抽奖”参与《2015年数据分析/数据挖掘工具大调查》有奖活动。 ? 数据科学的实践需要三个一般领域的技能:商业洞察、计算机技术/编程和统计学...

3276
来自专栏软件测试经验与教训

分享几个面试题的回答思路

很多人会直接回答,先沟通,沟通不能达成一致就找上级或者产品确定。但这样的回答有个问题:产品或者上级的意见就是正确的吗?如果有多年经验还这样回答,体现不出自己的亮...

722
来自专栏大数据文摘

4类数据科学工作和8个让你被录用的技能

1415
来自专栏EAWorld

浅谈利用元数管理平台自动化管理指标的方法

目录: 一、企业指标管理的三个核心问题 二、解决指标管理的问题,需要从三个方面入手 三、通过元数据管理平台,实现指标管理在技术上的自动化 四、总结 指标直接反映...

3707

扫码关注云+社区