成为大数据工程师必备的技能有哪些？（下）

继续来说。

大数据核心知识

Scala

推荐书籍：《快学Scala》

Scala概述

Scala编译器安装

Scala基础

数组、映射、元组、集合

类、对象、继承、特质

模式匹配和样例类

了解Scala Actor并发编程

理解Akka

理解Scala高阶函数

理解Scala隐式转换

官网：

http://www.scala-lang.org/

初级中文教程：

http://www.runoob.com/scala/scala-tutorial.html

Spark

推荐书籍：《Spark 权威指南》

Spark core：

Spark概述

Spark集群安装

执行第一个Spark案例程序（求PI）

RDD：

RDD概述

创建RDD

RDD编程API（Transformation 和 Action Operations）

RDD的依赖关系

RDD的缓存

DAG（有向无环图）

Spark SQL and DataFrame/DataSet

Spark SQL概述

DataFrames

DataFrame常用操作

编写Spark SQL查询程序。

Spark Streaming：

Spark Streaming概述

理解DStream

DStream相关操作（Transformations 和 Output Operations）

Structured Streaming

其他（MLlib and GraphX ）

官网：

http://spark.apache.org

中文社区：

http://www.aboutyun.com/forum-146-1.htm