大数据方向的十个岗位

随着大数据的趋势引起的越来越多的重视,各大企业对与大数据相关高端人才的需求也越来越紧迫。这一趋势,也给想要从事大数据方面工作的人员提供了难得的职业发展机遇。 目前,大数据方面的工作人员主要有三大就业方向:大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。

大数据系统研发工程师、 大数据应用开发工程师 数据分析师

从企业方面来说,大数据人才大致可以分为产品和市场分析、安全和风险分析以及商业智能三大领域。产品分析是指通过算法来测试新产品的有效性,是一个相对较新的领域。在安全和风险分析方面,数据科学家们知道需要收集哪些数据、如何进行快速分析,并最终通过分析信息来有效遏制网络入侵或抓住网络罪犯。 对于想从事大数据工作的求职者来说,如何根据自身条件进行职位选择?下面介绍十种与“大数据”相关的热门职位:

一、ETL研发

随着数据种类的不断增加,企业对数据整合专业人才的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道,从不同的源头抽取数据,转换并导入数据仓库以满足企业的需要。 ETL研发,主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。 目前,ETL行业相对成熟,相关岗位的工作生命周期比较长,通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是:在企业大数据应用的早期阶段,Hadoop只是穷人的ETL。

二、Hadoop开发

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。随着数据集规模不断增大,而传统BI的数据处理成本过高,企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。

三、可视化工具开发

海量数据的分析是个大挑战,而新型数据可视化工具如Spotifre,Qlikview和Tableau可以直观高效地展示数据。 可视化开发就是在可视开发工具提供的图形用户界面上,通过操作界面元素,由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据,经过时间考验,完全可扩展的,功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合,以用来构建极其丰富的用户界面。 过去,数据可视化属于商业智能开发者类别,但是随着Hadoop的崛起,数据可视化已经成了一项独立的专业技能和岗位。

四、信息架构开发

大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。信息架构师必须了解如何定义和存档关键元素,确保以最有效的方式进行数据管理和利用。信息架构师的关键技能包括主数据管理、业务知识和数据建模等。

五、数据仓库研究

数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储,出于分析性报告和决策支持的目的而创建。为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。 数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。

六、OLAP开发

随着数据库技术的发展和应用,数据库存储的数据量从20世纪80年代的兆(M)字节及千兆(G)字节过渡到现在的兆兆(T)字节和千兆兆(P)字节,同时,用户的查询需求也越来越复杂,涉及的已不仅是查询或操纵一张关系表中的一条或几条记录,而且要对多张表中千万条记录的数据进行数据分析和信息综合。联机分析处理(OLAP)系统就负责解决此类海量数据处理的问题。 OLAP在线联机分析开发者,负责将数据从关系型或非关系型数据源中抽取出来建立模型,然后创建数据访问的用户界面,提供高性能的预定义查询功能。

七、数据科学研究

这一职位过去也被称为数据架构研究,数据科学家是一个全新的工种,能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展,越来越多的实际工作将会直接针对数据进行,这将使人类认识数据,从而认识自然和行为。因此,数据科学家首先应当具备优秀的沟通技能,能够同时将数据分析结果解释给IT部门和业务部门领导。 总的来说,数据科学家是分析师、艺术家的合体,需要具备多种交叉科学和商业技能。

八、数据预测分析

营销部门经常使用预测分析预测用户行为或锁定目标用户。预测分析开发者有些场景看上有有些类似数据科学家,即在企业历史数据的基础上通过假设来测试阈值并预测未来的表现。

九、企业数据管理

企业要提高数据质量必须考虑进行数据管理,并需要为此设立数据管家职位,这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据,并将数据清洗和规范化,将数据导入数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。担当数据管家的人,需要保证市场数据的完整性,准确性,唯一性,真实性和不冗余。

十、数据安全研究

数据安全这一职位,主要负责企业内部大型服务器、存储、数据安全管理工作,并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验,具备运维管理方面的知识和能力,对企业传统业务有较深刻的理解,才能确保企业数据安全做到一丝不漏。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

硅谷没有产品经理

在国内,产品经理是非常核心的角色,然而在硅谷,工程师才是灵魂,拥有产品设计的决策权。谷歌的比例大概是1比8,一个产品经理配8个工程师。Facebook在200个...

1142
来自专栏CDA数据分析师

不仅要清楚如何收集数据,还要清楚如何创造数据

业界估计数据每年的增长率在30%到50%之间,对于许多企业来说,每年将增长上PB的数据量。问题显然不是缺少数据,而是缺少“正确”的数据。 根据埃森哲近期的调查显...

1878
来自专栏WeTest质量开放平台团队的专栏

腾讯WeTest参展2018ChinaJoy,8月3日等你来了解。

? WeTest 导读 腾讯游戏GCloud将携带WeTest、游戏安全、前沿技术、G6、蓝鲸、潘多拉、iData、腾讯计费、成长守护平台这9大技术服务产...

1052
来自专栏BestSDK

SDK起播速度,成直播用户体验关键点之一

目前,直播已经成为了一个热门话题,2012年才开始出现了直播的“雏形”,随着时间的推移,直播行业迎来了爆发式的增长,出现“百家争鸣”的情景。而直播的也被广泛的被...

3715
来自专栏数据科学与人工智能

六个步骤:助你最大化大数据的商业价值

上个月公布的一项调查结果显示,由Apache基金会所开发的分布式系统基础架构Hadoop可能即将面临着来自资金链方面的压力与挑战。具体而言,调查中的绝大多数受访...

2166
来自专栏张善友的专栏

培养敏捷态度

关于敏捷方法论的文章已经很多了。其中,相当一部分文章讲述了敏捷方法技术方面的问题,比如测试驱动开发和持续集成。同样,还有相当一部分文章讨论了敏捷 方法论的应用问...

1976
来自专栏CDA数据分析师

数据科学职业生涯路径:如何在数据分析工作中找准自己的角色和定位?

? 写在前面 全世界,企业每天都在创造更多的数据,迄今为止大多数都在努力从中受益。根据麦肯锡的说法,仅美国就将面临150,000多名数据分析师的短缺另加150...

4148
来自专栏黑白安全

信息时代的两极:重数量的百度,重质量的知乎

这几天,但凡观看世界杯的人想必都在央视看到了知乎的广告,有意思的是,知乎将广告主题定为了“有问题,上知乎”,这不禁让人想起了百度已经使用了13年的广告语“百度一...

844
来自专栏Java学习网

程序员被聘用的13个开发技能

程序员被聘用的13个开发技能 1.温习JavaScript 这些日子,开发人员掌握JavaScript总不会错。JavaScript能力是目前为止被高层执行人员...

3025
来自专栏大数据文摘

十一大市场发展趋势主导高级分析走向

2148

扫码关注云+社区

领取腾讯云代金券