乘风大数据,就业拿高薪

最近一周,硅谷的明星创业公司Palantir完成了最新一轮4.5亿美金的融资,估值超过200亿美金。大数据,以及之后的数据挖掘和智能分析,让Palantir拿到大笔政府、军队合同。坊间甚至传闻说当年拉登被被抓获的过程中,Palantir的数据分析乃幕后英雄,这大数据,可真厉害。

毫无疑问,大数据的热潮在未来的一段时间会继续升温。然而,「大数据」究竟需要哪些职位?这些职位有什么发展方向?需要什么技能? 大家却未必清楚。

那么今天包子面试培训就带大家对大数据就业市场一探究竟。

薪水有多高?

据美权威网站payscale.com 2015年7月分析,在大数据分析相关职位中:

  • 数据科学家(Data Scientist)薪水中值达到$92435
  • 资深数据科学家(Senior Data Scientist)薪水中值达到$129701
  • 资深大数据软件工程师(Senior Software Engineer - Big Data Analytics)薪水中值高达$131057!

其他的权威网站salary.com, glassdoor.com, indeed.com也给出了相近的数据。

需求有多强?

美国人才招聘市场的数据分析领先者WANTEDAnalytics最近给出报告:

2014年大数据专业人才的市场需求增加了85.4%,其中大数据软件工程师需求增加了51.50%,计算机系统分析师需求增加了89.80%,大数据科学家需求增加了85.40%.

此外,思科,IBM和甲骨文公司拥有最多大数据相关的职位空缺。据统计,思科的供应商、合作伙伴和支持生态系统公司具有3613职位空缺与大数据相关。

职位有哪些?

ETL研发 (ETL Developer)

随着数据种类的不断增加,企业需要一种统一的方法处理所有种类数据,所以对于数据整合的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道,从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要。

ETL研发,主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。

目前,ETL行业相对成熟,相关岗位的工作生命周期比较长,通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是:在企业大数据应用的早期阶段,Hadoop用作ETL工具。

基于Hadoop等Framework 的application开发 (SDE - Big Data)

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。随着数据集规模不断增大,而传统BI的数据处理成本过高,企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。

随着Spark等 Big Data Analytics Framework 的兴起,更多的Big Data Analytics Application转移到这些新的Framework上,随之的人才需求也有移动。

可视化工具开发 (SDE - Visualization)

海量数据的分析是个大挑战,而新型数据可视化工具如Spotifre,Qlikview和Tableau可以直观高效地展示数据。

可视化开发就是在可视开发工具提供的图形用户界面上,通过操作界面元素,由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据,经过时间考验,完全可扩展的,功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合,以用来构建极其丰富的用户界面。

过去,数据可视化属于商业智能开发者类别,但是随着Hadoop的崛起,数据可视化已经成了一项独立的专业技能和岗位。

大数据系统架构师 (Data Architect)

大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。大数据系统架构师必须了解如何定义和存档关键元素,确保以最有效的方式进行数据管理和利用。大数据系统架构师的关键技能包括主数据管理、业务知识和数据建模等。

数据仓库管理 (Data warehouse Architect)

数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储,出于分析性报告和决策支持的目的而创建。 为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。

数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。

数据科学家 (Data Scientist)

数据科学家是一个全新的工种,使用例如机器学习Machine Learning等技术,能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展,越来越多的实际工作将会直接针对数据进行,这将使人类认识数据,从而认识自然和人类行为。因此,数据科学家首先应当具备优秀的沟通技能,能够同时将数据分析结果解释给IT部门和业务部门领导。

总的来说,数据科学家是分析师、数学家的合体,需要具备多种交叉科学和商业技能。

企业数据管理 (IT Supervisor - Data and Information Services)

企业要提高数据质量必须考虑进行数据管理,并需要为此设立数据管家职位,这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据,并将数据清洗和规范化,将数据导入数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。担当数据管家的人,需要保证市场数据的完整性,准确性,唯一性,真实性和不冗余。

数据安全研究 (System Security Engineer)

数据安全这一职位,主要负责企业内部大型服务器、存储、数据安全管理工作,并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验,具备运维管理方面的知识和能力,对企业传统业务有较深刻的理解,才能确保企业数据安全做到一丝不漏。

需要哪些技能?

在所有大数据职位中,需求最多的排前三位的技能是:

  • Java 6.62% 毕竟绝大多数Hadoop application都是用Java写的。那些应用Cassendra,Hbase,或MongoDB的Web Application或Web Service还是用Java为主。随着Spark和Scala的兴起,应该有越来越多的数据分析软件转移到Scala上。
  • SQL 5.86% 还是使用最广泛的数据查询语言,业界标准。即便在大数据时代,Hive,Spark dataFrame,CQL,HQL也都支持或部分支持SQL.
  • Apache Hadoop 5.45% 业界最早进入软件业界的,使用率自然最高。此外,对信息安全支持最好,在各种数据分析框架中也各方面最成熟。今天越来越多的受到Spark的挑战。

看起来,大数据这个方向,高端大气而且薪水诱人,干得好没准还能抓几个恐怖分子为民除害,你是否有点心动呢?行动起来!请继续关注包子之后微信系列文章。我们将继续总结大数据方向的基本知识框架和学习方法,提供深入浅出的原创教程,帮助小伙伴们赶上大数据浪潮,拿到业界高薪!

原文发布于微信公众号 - 包子铺里聊IT(baozitraining)

原文发表时间:2015-07-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BestSDK

现在补习“情感化设计”还不晚,不然APP运营就没的玩了

为什么要谈情感化设计? “我预感到我们后面会越走越顺,会卖疯了…..如果有一天我们后面卖了几百万台、几千万台……有一天傻X都在用我们的手机,你要知道这个其实……...

38980
来自专栏互联网杂技

设计顶峰:如何打造创新有价值的极致体验?

经常发上手即用的教程和技巧,今天来点不一样的「干货」,聊聊在设计中的价值创新。内文案例丰富,配图生动,也有实战案例,对于「需求」的理解非常到位,来自阿里Heyu...

34990
来自专栏一个爱吃西瓜的程序员

【读书笔记】《增长黑客》创业公司的用户与收入增长秘籍

这本书是去年女朋友买来送给我的,我断断续续地看着,最近终于看完了,现在来说说我的读后感。

12910
来自专栏JAVA技术zhai

2018开发者技能调查报告之Java程序员求职必备技能分析

根据国外开发者平台 HankerRank 发布的2018 年开发者技能调查报告的统计数据,本文摘录程序员求职时必备技能相关的调查结果。

17420
来自专栏大数据文摘

蚂蚁金服与伯克利明星实验室RISE启动合作,加速数据人才培养

19360
来自专栏华章科技

用户在线行为学,从点击数据背后说起

用户在线行为学,如果不使用用户浏览行为、使用数据、点击数据、交互数据、眼动图等,那就无异于盲人摸象。但是非常可怜,这个领域连摸的人都不多,都忙着上炒作,融资,忽...

10320
来自专栏数据魔术师

世界已无法阻挡Python入侵。

很多人对学英语都感到崩溃,而刚刚接触到英语的小学生更是黯然失色,但是,最近,山东的小学生将又要学习一门“语言”—Python,除山东在小学教材中加入Python...

85360
来自专栏PPV课数据科学社区

【经典】你用 Python 做过什么有趣的数据挖掘项目?

编者按:本文经授权转载自知乎回答,作者何明科系一面网络技术有限公司创始人。作者现身说法,用自己的创业历程举例说明:有钱很重要,有趣更重要。以下是正文:enjoy...

43440
来自专栏企鹅号快讯

自主决定如何执行任务的机器人

在自动化领域,新的技术突破即将出现。在位于慕尼黑的西门子实验室,只要提供产品生产工作单,机器人就可以自主选择如何组织动作执行任务。与此同时,慕尼黑科技大学的一支...

203100
来自专栏罗超频道

盒子的未来:客厅不死,互联网永生

家里的乐视盒子和有线机顶盒的点播套餐纷纷到期,朋友送的百度影棒才刚用没几天,今天百度又发布影棒2了。在外观设计、硬件配置和视频内容支持等方面均有所提升,...

38470

扫码关注云+社区

领取腾讯云代金券