做为一名大数据新手，如何成为大数据工程师？附上学习路线

这几年来大数据非常的热门，到处都有大数据分析的演讲。演讲内容通常是宣传各种大数据分析成功的案例。但实际上大数据该怎么做呢？大部份的讨论似乎都仅止于怎么搜集大量的数据， 然后用个工具（hadoop/spark）后就会马上变出商机和钱来。

大数据技术最重要的核心在于如何设计可以高性能处理大量数据的程式 (highly scalable programs.)

目前大数据相关工作可以粗分几类。有资料系统串接者， 设计大数据演算法实做的人，以及管理大型丛集 (cluster) 的工程师。很多人对大数据工程师的理解还停留在资料系统串接者的程度， 以为只要将资料汇入某个神奇系统，就能将自己想要的结果生出来。但实际上数据量变得很大时，我们往往需要自己客制化自己的资料系统，并且撰写特殊的演算法处理之。以中国台湾和美国业界而言，第二种工程师是最稀少也需求量最高的。这本书的目的就是由浅入深的介绍如何成为此类型的工程师。

想要在大数据这个领域汲取养分，让自己壮大成长。分享方向，行动以前先分享下一个大数据交流分享资源群870097548，欢迎想学习，想转行的，进阶中你加入学习。?

相信很多Java开发者都对大数据有一定的了解，随着大数据时代的到来，也有很多Java程序员想要转行大数据。大数据技术中大多数平台使用的都是Java语言，因此，对于大数据技术的学习来说，Java程序员已经占尽了先机。但是很多人对大数据该怎么学，学哪些内容和方向不是很了解，下面就给大家来详细讲一下。

本文分三大方面详细的讲如何学大数据：

大数据方向工作介绍

大数据工程师的技能要求

大数据学习路径

一.大数据方向工作介绍

大数据方向的工作目前分为三个主要方向:

01.大数据工程师

02.数据分析师

03.大数据科学家

04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）

二.大数据工程师的技能要求

附上两份比较权威的大数据工程师技能图

总结如下:

必须技能10条:

Java高级(虚拟机、并发)、Linux 基本操作、Hadoop（此处为侠义概念单指HDFS+MapReduce+Yarn ）、HBase（JavaAPI操作+Phoenix ）、Hive(Hql基本操作和原理理解）、Kafka、Storm、Scala需要、Python、Spark (Core+sparksql+Spark streaming ）、一些小工具(Sqoop等)

高阶技能6条:

机器学习算法以及mahout库加MLlib、R语言、Lambda 架构、Kappa架构、Kylin、Aluxio

三.学习路径

相关学习书籍：Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）、Hadoop、HBase（《HBase权威指南》）、Hive（《Hive开发指南》）、Scala（《快学Scala》）、Spark （《Spark 快速大数据分析》）