专栏首页ThoughtWorks那些数据工作中的角色

那些数据工作中的角色

数据工作中有一类非常重要的角色,那就是数据分析师。为什么这个角色这么重要呢?因为要是没有这个角色,不管一个企业中的数据管理做得有多么好都没用,都无法带来实际的价值。这些数据就像是藏在海底的石油,而数据分析师就是开采海底石油的油井设备。要想让石油用于汽车轮船,需要通过这些设备先将海底的石油抽取出来,经过加工处理,提纯。

数据分析师

这个角色通常做什么呢?数据分析师的日常工作当然就是做数据分析。比如要分析一个应用的客群特征,分析用户的留存率,活跃程度等等。但是,对于数据分析工作,最重要的是业务理解,对软件开发技术的要求其实并不高,能写SQL就能完成大部分工作了。比如留存率的计算,技术上一个带join和where的SQL查询就实现了,但是分析的目标远不止于此,对于分析而言,更重要的是要知道为什么留存率是计算出来的这个数值以及这个值究竟意味着什么。考察为什么是这个数值,可能会发现是由机器人贡献了较高的留存率,企业内员工也贡献了较高的留存率,真实的用户其实贡献了一个较低的留存率。考察这个值究竟意味着什么,首先会观察其变化趋势,可能会发现留存率有所上涨或下降,然后,最重要的,根据这一情况应该从业务上做些什么。从这里的分析可以看出,数据分析师是具备一定的技术能力,但更偏业务的一种角色。可能有人会说,我之前在互联网公司待过很长时间,似乎也没听说过需要这样一种角色呀。没错,其实在很多规模不大的互联网公司,根本没有明确定义数据分析师这样的角色,但这一角色并非不存在,通常这样的角色是被市场运营人员和产品经理兼任了。当前国内的互联网公司普遍招聘的产品经理或运营人员的一个重要的能力要求就是会分析数据,然后根据数据改进产品设计或改进运营策略。我见到过很多公司的产品经理和运营人员写SQL写的非常溜,他们正是在进行分析数据,并根据数据进行业务改进。

数据科学家

对于数据分析师而言,技术上只要会SQL就够了么?当然不是。当业务发展到一定程度之后,想要做到精细化的运营,简单的SQL工具可能就无法满足数据分析师的需求了。这时,可能要请出来一些大家觉得高大上的算法模型了。比如,要做客群细分,是不是要来个RFM模型呢?要挑选一些客户来做营销,是不是要做个逻辑回归模型来预测一下哪些客户是潜在的高价值营销客户呢?想做交叉销售提升现有客户价值,是不是要来个关联分析呢?一旦涉及到建模分析,问题就不一样了,这些分析手段非常专业,非计算机专业,数学能力比较差的同学接受起来可能就会比较困难。但也绝非不可能,市场上其实已经有很多专门为建模分析而生的专业工具了。其中最有名的莫过于SAS。只需要使用者明白基本的算法原理,然后跟随软件的可视化引导进行操作就可以完成基本的建模分析。这样一来,是不是具有计算机或者数学背景的偏业务的数据分析师们也可以来做了呢?有不少公司将同时懂业务,会SQL,会建模分析的人员称为数据科学家。需要拥有这么多的交叉专业背景,这一角色的门槛显然非常高了。然而,数据科学家这一角色对于一个日渐壮大的企业而言却是非常重要的,常常可以带来企业核心竞争力的进一步提升,为企业建立竞争壁垒。按照前面对数据科学家的定义,企业内部常常是缺少堪称数据科学家的人才的。即便有,也更多是某一领域的数据科学家,因为需要有深厚的业务知识积累。而一个人其实是很难具有多个行业多个领域的业务经验的。所以,一般而言,企业中更多的人才资源是数据分析师,即便有数据科学家,可能更多也谦称为数据分析师。当然可能也有另一个原因,数据分析师的名字听起来会更偏解决实际业务问题,而数据科学家则更像是偏学术理论研究。

数据工程师

数据工作当然还少不了一类角色,那就是数据工程师。不管是数据分析师还是数据科学家,都是基于数据进行分析的。那数据从哪里来,数据管理是不是做的足够好,数据提取是不是足够容易,在大规模的数据集上面进行计算是否高效,这些问题常常成为了挡在数据分析师和数据科学家前面的一堵墙。为了打破这堵墙,就需要数据工程师了。所以,数据工程师的职责是什么呢,那就是为数据分析师和数据科学家服务。将数据有效的管理起来,让他们可以轻易的获取并理解数据。为他们提供分布式的探索环境,让他们可以高效的在大规模的数据集上面进行计算。除了为数据分析提供服务,数据工程师还需要做好其他的企业数据管理工作,比如数据安全,数据标准,数据质量管理等。想做好企业数据管理并非易事,如何在企业内部建立数据标准,如何进行数据安全定级,并分别对不同安全级别的数据实施不同的安全策略,如何推进企业数据质量建设。这些问题没有一个是可以轻易做到的,非但不能轻易做到,甚至对数据管理经验要求非常高。这对于数据工程师的行业经验、工程经验都提出了更高的要求。业界通常将有这些经验足够丰富的数据工程师称为数据架构师。

转型到数据分析师

能不能不要数据分析师呢?经过前面的角色拆解分析可以知道,企业里面总是会先有数据分析师(即便可能暂时没有这个称号),再有数据工程师。如果一项数据工作中没有数据分析师,那这个项目就很容易演变成一群做技术的人的自嗨,搭建各种前沿大数据平台,什么分布式计算流式计算一起上,做了很长的时间烧了大把经费之后发现没有什么可见的业务价值,然后不得不因为项目经费的原因遗憾收场。所以,要想做好数据这块业务,数据分析师这一角色是不可缺少的。如何应对数据分析师的短缺呢?最直接的办法就是扩充拥有数据分析能力的人才了。人才可以有两方面来源,一是招聘,二是内部转岗。首先看内部转岗。内部转岗可以说是最先采用的人才扩充方式。能不能由软件开发人员转做数据工程师或者数据分析师呢?其实软件开发人员转做数据工程师相对是比较容易的。但是还是需要补充较多的数据专业能力,比如数据仓库的建设方案,如何进行数据建模,如何进行数据治理,如何进行数据开发和调试,如何实现数据服务及可视化,如何打造数据平台等。能不能由软件开发人员转做数据分析师呢?这种情况就比较有难度了。主要是业务思维和技术思维有着很大的不同,业务思维想要解决当前的业务问题创造利润,怎么快怎么做,看重可操作性和效果而非技术,而技术思维却是想着维护产品的高质量,稳步的进行迭代演进。所以,我们常常见到,业务人员不能理解做技术的要考虑各种边界情况,各种依赖情况,导致一个功能要做很久;技术人员也不能理解业务为啥要天天变,刚做好的功能还没产生业务价值又要推翻重来。除了思维方式需要转变,业务经验积累也变成了这里的角色转变的绊脚石。能不能由BA转做数据分析师呢?我们看到公司内部其实有不少数据分析师是BA的角色转变而来的。但是新的角色对于BA而言同样存在很大的挑战。比如如何快速的去熟悉一个新行业的业务,如何提升SQL技能,甚至如何自我学习和提升达到具备进行统计分析,假设检验,建模分析的能力。这些都是不容易的。

企业数据人才结构

前面介绍了数据工作的相关角色,隐隐约约可以看出企业数据人才组成结构了,我们姑且将其称为企业数据人才架构。用一张简图可以表示如下:

前面只是最基本的角色定位,在实际企业环境中,常常会由于各自的企业基因和文化而有所不同。比如,如果是一家创业型小公司,可能就只分为技术、产品、运营三种大的角色。技术人员将完成业务功能开发、运维、数据管理等等一系列工作。产品人员将基于产品数据分析完成产品设计和优化。运营人员将基于运营数据分析完成运营策略、运营活动的设计等。如果这家创业型公司以业务为核心,那么可能前期会直接采购相关的软件产品,连技术和数据分析都没有。一家以软件技术为核心的中型公司(比如互联网公司),业务逐步成熟,就开始设置专门的数据部门和数据工程师岗位。而一家以业务为核心的中型公司(比如零售、保险等公司),业务逐步成熟,就开始设置专门的数据分析部门和数据分析师岗位。随着业务的进一步扩大,各个角色的专业性越来越强,大型企业中常常设置数据架构师、数据科学家等角色,以应对特别复杂的业务场景。

本文版权属ThoughtWorks公司所有,如需转载请在后台留言联系。

本文分享自微信公众号 - ThoughtWorks洞见(TW-Insights),作者:廖光明

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-06-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据科学职业生涯路径:如何在数据分析工作中找准自己的角色和定位?

    ? 写在前面 全世界,企业每天都在创造更多的数据,迄今为止大多数都在努力从中受益。根据麦肯锡的说法,仅美国就将面临150,000多名数据分析师的短缺另加150...

    CDA数据分析师
  • 【浅观】天文中的那些大数据

    大数据是领域相关的,如今大数据在各个领域都有着卓越的表现。比如,苏州政府、中石油等都使用大数据魔镜——免费的大数据可视化分析工具对自己领域的大数据进行了分析与挖...

    华章科技
  • 数据分析师在数据治理流程中承担的角色

    数据治理是逐步实现数据价值的过程,具体来说,数据治理是指将零散的用户数据通过采集、传输、储存等一系列标准化的流程变成格式规范、结构统一的数据,并有严格和规范的综...

    数据万花筒
  • 细数数据科学团队中的十大关键角色

    应用数据科学是一项高度跨学科的团队工作,需要用多样性的角度看问题。事实上,比起专业知识和经验,观点和态度的重要性也不容小觑。以下是我对数据科学团队构成的看法。

    CDA数据分析师
  • 大数据在第四次工业革命中要扮演什么角色?

    第四次工业革命的曙光似乎就在眼前了,人造智能、机器人技术、量子计算、3D打印和物联网等领域的进步,带领我们见证了一个又一个新突破。 近年来,另一项突飞猛进技术...

    灯塔大数据
  • 聊一聊 MySQL 数据库中的那些锁

    在软件开发中,程序在高并发的情况下,为了保证一致性或者说安全性,我们通常都会通过加锁的方式来解决,在 MySQL 数据库中同样有这样的问题,一方面为了最大程度的...

    Bug开发工程师
  • 【大数据】那些简化操作的辅助脚本

    大数据常用环境中,除了hadoop、spark本身自带脚本,能够完成快速启停,其它组件的启动命令稍微复杂,而且步骤较多。

    十里桃花舞丶
  • 【经验】数据质量在商业智能中扮演的角色

    对于增强数据资产准确度和价值而言,将数据质量规则与活动(探查、清洗和监测)和MDM流程相集成显得十分关键。在启动任何MDM项目之前,您都需要了解源数据...

    机器学习AI算法工程
  • Redis 数据结构之字符串的那些骚操作

    这样写是不是读起来很无聊?这些都是别人咀嚼过后,经过一轮两轮三轮的再次咀嚼,吐出来的精华,这就是为什么好多文章你觉得干货满满,但就是记不住说了什么。我希望把这个...

    Bug开发工程师
  • 大数据驱动中国特色的工业4.0

        多少年来,美国因其拥有强大的科技创新能力,在商业、工业、政府等领域的科技进步上一直占尽先机。德国因为传统的制造业优势,可以纵观生产制造的全过程,不断提...

    腾讯研究院
  • Javascript 中数据类型那些可能会中招的细节

    Javascript的数据类型对于大家来说一点都不默认,主要基本数据局类型和引用数据类型,都是入门必学的知识点,而且在日常开发中,频繁使用。大家是否都掌握其中的...

    @超人
  • Excel数据处理|你不知道的那些高端操作

    在使用excel中,我们经常碰到复杂的数据以及不规律的数据,所以只能把数据进行处理之后才能去进行分析。本文将带领大家开启数据处理的干货分享。快来跟小编一起探索吧...

    数据山谷
  • C++中cos,sin,asin,acos这些三角函数操作的是弧度,而非角度

    转自:http://blog.sina.com.cn/s/blog_63578f140100zfps.html

    用户7886150
  • 操机人眼中:那些好用的数控操作系统

    这么多年的数控生涯中,您觉得哪个操作系统最舒服呢!以下给您列举那些让人印象深刻的操作系统!

    UG数控编程
  • kubernetes中那些不为存储数据而存在的volume

    这kubernetes中,这类Volume不是为了存放数据,也不是用来做数据交换,而是为容器提供预先定义好的数据。所以从容器角度来看,这类Volume就像是被投...

    极客运维圈
  • R语言ggplot2科研数据作图配色的一些小技巧

    大家好,在这里给大家介绍一下使用ggplot2绘图调色的几种小方法。正所谓绘图十分钟,调色一小时。图片的配色直接决定了图片质量的好坏。下面讲一下我平时绘图用到的...

    用户7010445
  • 工作提高——《程序员思维修炼》中提到的那些点子

    我是一个习惯于多任务处理的人,因为我觉得这样子可以加快步伐,避免单一带来的枯燥。但这本书提到:

    陈黎栋
  • 你是怎样“被平均”的?细数统计数据中的那些坑

    作者提出的证据当中最为常见的一种就是“统计数据”。你可能经常听到人们使用下面这个词组来帮助支撑他们的论证:“我有统计数据来证明。”

    华章科技
  • 如果说数据是推动自动驾驶的原动力,那么存储扮演什么角色?

    近年来,互联网、IT技术正在带动整个汽车产业迎来深刻变革。在此之前,信息技术帮助汽车行业完成了设计、供应链、营销等体系的数字化和互联网化。在传统汽车厂商进行数字...

    焱融科技

扫码关注云+社区

领取腾讯云代金券