乘风大数据，就业拿高薪

最近一周，硅谷的明星创业公司Palantir完成了最新一轮4.5亿美金的融资，估值超过200亿美金。大数据，以及之后的数据挖掘和智能分析，让Palantir拿到大笔政府、军队合同。坊间甚至传闻说当年拉登被被抓获的过程中，Palantir的数据分析乃幕后英雄，这大数据，可真厉害。

毫无疑问，大数据的热潮在未来的一段时间会继续升温。然而，「大数据」究竟需要哪些职位？这些职位有什么发展方向？需要什么技能？ 大家却未必清楚。

那么今天包子面试培训就带大家对大数据就业市场一探究竟。

薪水有多高？

据美权威网站payscale.com 2015年7月分析，在大数据分析相关职位中：

• 数据科学家(Data Scientist)薪水中值达到$92435
• 资深数据科学家(Senior Data Scientist)薪水中值达到$129701
• 资深大数据软件工程师(Senior Software Engineer - Big Data Analytics)薪水中值高达$131057！

其他的权威网站salary.com, glassdoor.com, indeed.com也给出了相近的数据。

需求有多强？

美国人才招聘市场的数据分析领先者WANTEDAnalytics最近给出报告：

2014年大数据专业人才的市场需求增加了85.4%，其中大数据软件工程师需求增加了51.50%，计算机系统分析师需求增加了89.80%，大数据科学家需求增加了85.40%.

此外，思科，IBM和甲骨文公司拥有最多大数据相关的职位空缺。据统计，思科的供应商、合作伙伴和支持生态系统公司具有3613职位空缺与大数据相关。

职位有哪些？

ETL研发 (ETL Developer)

随着数据种类的不断增加，企业需要一种统一的方法处理所有种类数据，所以对于数据整合的需求越来越旺盛。ETL开发者与不同的数据来源和组织打交道，从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要。

ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

目前，ETL行业相对成熟，相关岗位的工作生命周期比较长，通常由内部员工和外包合同商之间通力完成。ETL人才在大数据时代炙手可热的原因之一是：在企业大数据应用的早期阶段，Hadoop用作ETL工具。

基于Hadoop等Framework 的application开发 (SDE - Big Data)

Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。如今具备Hadoop框架经验的技术人员是最抢手的大数据人才。

随着Spark等 Big Data Analytics Framework 的兴起，更多的Big Data Analytics Application转移到这些新的Framework上，随之的人才需求也有移动。

可视化工具开发 (SDE - Visualization)

海量数据的分析是个大挑战，而新型数据可视化工具如Spotifre，Qlikview和Tableau可以直观高效地展示数据。

可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。还可轻松跨越多个资源和层次连接您的所有数据，经过时间考验，完全可扩展的，功能丰富全面的可视化组件库为开发人员提供了功能完整并且简单易用的组件集合，以用来构建极其丰富的用户界面。

过去，数据可视化属于商业智能开发者类别，但是随着Hadoop的崛起，数据可视化已经成了一项独立的专业技能和岗位。

大数据系统架构师 (Data Architect)

大数据重新激发了主数据管理的热潮。充分开发利用企业数据并支持决策需要非常专业的技能。大数据系统架构师必须了解如何定义和存档关键元素，确保以最有效的方式进行数据管理和利用。大数据系统架构师的关键技能包括主数据管理、业务知识和数据建模等。

数据仓库管理 (Data warehouse Architect)

数据仓库是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。它是单个数据存储，出于分析性报告和决策支持的目的而创建。 为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。

数据仓库的专家熟悉Teradata、Neteeza和Exadata等公司的大数据一体机。能够在这些一体机上完成数据集成、管理和性能优化等工作。

数据科学家 (Data Scientist)

数据科学家是一个全新的工种，使用例如机器学习Machine Learning等技术，能够将企业的数据和技术转化为企业的商业价值。随着数据学的进展，越来越多的实际工作将会直接针对数据进行，这将使人类认识数据，从而认识自然和人类行为。因此，数据科学家首先应当具备优秀的沟通技能，能够同时将数据分析结果解释给IT部门和业务部门领导。

总的来说，数据科学家是分析师、数学家的合体，需要具备多种交叉科学和商业技能。

企业数据管理 (IT Supervisor - Data and Information Services)

企业要提高数据质量必须考虑进行数据管理，并需要为此设立数据管家职位，这一职位的人员需要能够利用各种技术工具汇集企业周围的大量数据，并将数据清洗和规范化，将数据导入数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家的人，需要保证市场数据的完整性，准确性，唯一性，真实性和不冗余。

数据安全研究 (System Security Engineer)

数据安全这一职位，主要负责企业内部大型服务器、存储、数据安全管理工作，并对网络、信息安全项目进行规划、设计和实施。数据安全研究员还需要具有较强的管理经验，具备运维管理方面的知识和能力，对企业传统业务有较深刻的理解，才能确保企业数据安全做到一丝不漏。

需要哪些技能？

在所有大数据职位中，需求最多的排前三位的技能是：

• Java 6.62% 毕竟绝大多数Hadoop application都是用Java写的。那些应用Cassendra，Hbase，或MongoDB的Web Application或Web Service还是用Java为主。随着Spark和Scala的兴起，应该有越来越多的数据分析软件转移到Scala上。
• SQL 5.86% 还是使用最广泛的数据查询语言，业界标准。即便在大数据时代，Hive，Spark dataFrame，CQL，HQL也都支持或部分支持SQL.
• Apache Hadoop 5.45% 业界最早进入软件业界的，使用率自然最高。此外，对信息安全支持最好，在各种数据分析框架中也各方面最成熟。今天越来越多的受到Spark的挑战。

看起来，大数据这个方向，高端大气而且薪水诱人，干得好没准还能抓几个恐怖分子为民除害，你是否有点心动呢？行动起来！请继续关注包子之后微信系列文章。我们将继续总结大数据方向的基本知识框架和学习方法，提供深入浅出的原创教程，帮助小伙伴们赶上大数据浪潮，拿到业界高薪！