专栏首页数据分析1480一个大数据从业者的职业选择分享

一个大数据从业者的职业选择分享

进几年A(人工智能)B(大数据)C(云计算)发展火热,由于笔者在一二线互联网行业从事过大数据相关工作,因此决定在大数据领域对自己的所见所闻,来对该行业之外的人士所做一个讲述,以及对想进入该行业的从业人员做个简单的讲述和分享。

大数据首先重要的就是数据,数据从哪里来,到哪里去,这个是我们需要探讨的。首先确定你数据量TB级别、PB级别 or EB级别。上图讲述了数据的来源从用户的数据、购买数据,以及最终的去处:存储、分析。因此可以看出大数据的核心其实是数据。

以笔者所在的电商平台为例(其他行业同样如此),用户在商城上购买商品,是基于在线交易系统的,称作为OLTP(联机事务)。而由于商城上每天都会产生这些信息,我们就需要把这些交易数据抽取到大数据这边,即:数据仓库。数据仓库是用来存储所有的数据,包括用户的所有信息,购买记录、用户基本信息等等。然后对数据仓库中的数据做处理,构建数据集市,再对数据进行分析。根据商城上推出的活动,进行分析该活动是否有利于用户增长等等,最终用来反馈商城相应的调整活动信息。称之为OATP(联机分析)。

上图主要讲述了大数据的信息。通过上图我们可以将大数据大致划分为如下岗位:数据开发,数据平台开发,数据分析、算法应用。如果所处的公司再大一些,上面相对应的岗位则能够进行更加详细的划分,比如是离线还是实时,对应的可以分到每一个岗位下面。

下面来讲述一下,每个岗位所需要的技能,以及大家可以根据自己的需求进行调整。

大数据平台运维:大数据平台的搭建和维护。对应技能:运维的一些技能,以及hadoop,hive等等。

数据开发:主要涉及到数据的抽取、转换、清洗,即:ETL。对应的技能:sql,hive,hadoop,shell,python(其他编程语言也行)、数据仓库的理论;其中数据仓库的理论尤为重要,需要大量的实践和学习才能建设良好的数据仓库模型,否则数据一团乱麻,很难找到自己想要的数据,也会出现这样的情况:天天疲于奔命,根据不同的需求,进行跑数据的操作。当然你如果想再接触的更深入一些,可以了解一下离线数据和实时数据开发(离线数据仓库、准实时数据仓库)。

数据平台开发:主要设计大数据平台的开发,为了数据开发的方便便捷自动化而存在的。对应的技能:java,scala,sql,大数据的一些开发平台(MR,Spark,Hbase等等)。

数据分析:主要是对大数据进行跑数据,做报表,比较适合女生。对应技能:sql,excel,tableau,python,R等。数据分析岗位,我认识的很多女生从事该岗位,因为该岗位对于要求或许稍微低一些或者说入门简单一些。但是要想做好也不容易,如果做到自动化数据报表也是大家可以考虑的。

算法:主要是对算法模型进行应用,开发。对应的技能:算法基础,sql,python、数学理论。当然现在很多的开发工具包以及平台都提供很多算法,包括python,spark,因此需要我们掌握算法原理的情况和场景的情况下进行调用。

以上主要讲述了大数据的常见岗位和对每个岗位所需要技能进行了分析。如果大家有志于在此行业进行发展,欢迎大家和我交流。

本文分享自微信公众号 - 数据分析1480(lsxxx2011),作者:诸葛子房

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 小白也能快速入门的4步数据驱动运营法!

    在这个数据驱动运营的时代,数据不仅是数据工程师和分析师的事情,在工作中也要求运营从业者有一定的数据分析能力,更有人说“数据分析能力是未来运营的分水岭”。从我自身...

    1480
  • 这100多个数据分析常用指标和术语你都分清楚了吗?

    有个朋友是金融行业产品经理,最近在对已有的站内用户做分层与标签分类,需要对用户进行聚类分析。一般从事数据分析行业的朋友对这类词并不陌生,但是像市场运营人员就会把...

    1480
  • 经验之谈 | 如何从数据分析师转型为数据科学家?

    如何从数据分析师华丽转型,成为一名数据科学家?好比“把大象装进冰箱”,成为“数据科学家”仅需简单三步:

    1480
  • 【揭秘】中国四大银行的大数据应用已到了哪个阶段?

    对于大数据给企业带来的价值,已经毋庸置疑。在国内,银行业应该是IT建设更为领先的行业之一。特别中、农、工、建四大银行,更是走在整个银行业的前面。那么,他们对于大...

    华章科技
  • 四大银行(工建农中)大数据进展如何?

    中国建设银行 中国建设银行信息技术管理部资深经理林磊明 ▼ ? ▼ 1、银行压力越来越大 从十二五走到十三五期间,银行业面临的各方面的压力越来越大,从我们的年报...

    钱塘数据
  • 2017作为大数据爆发年,将会对企业产生6大影响

    ·人工智能(AI)将再度盛行 早在60年代,RaySolomonoff奠定了人工智能的数学理论基础,引入通用贝叶斯原理(Bayesian)来归纳推理和预测。1...

    BestSDK
  • 【案例】恒丰银行——基于大数据技术的数据仓库应用建设

    数据猿导读 恒丰银行探索采用大数据技术构建统一的企业级数据管理平台,重构数据仓库应用,减少数据重复加工与存储,促进信息管理应用的数据融合共享,提高数据处理总体效...

    数据猿
  • 亚马逊阿里 搭建数据化运营系统秘籍

    随着互联网时代的发展,企业发现过去他们所做的粗狂式运营已经不能有效的提升效率和增加企业用户了,所以,一些企业开始找寻新的运营方式,比如逐渐转变为CPM(每千人...

    灯塔大数据
  • 好书 | 《大数据经济新常态:如何在数据生态圈中实现共赢》

    书名:《大数据经济新常态:如何在数据生态圈中实现共赢》 原书名:Profiting from the Data Economy: Understanding ...

    CDA数据分析师
  • 91科技集团董事长许泽玮:5G时代下,大数据将是技术红利释放的第一高地丨金猿人物展

    本文由许泽玮撰写并投递数据猿参与评选,更多关于【金猿榜/奖·2019征集评选】的相关信息,请点击这里了解详情丨征案例、征文章、征产品=评企业、评人物、评产品。

    数据猿

扫码关注云+社区

领取腾讯云代金券