learn from 从0开始学大数据(极客时间)
Spark
拥有更快的执行速度
更友好的编程接口
迅速抢占 MapReduce 的市场份额,成为主流的大数据计算框架
val textFile = sc.textFile("hdfs://...")
// 根据 HDFS 路径生成一个输入数据 RDD
val counts = textFile.flatMap(line => line.split(" "))
// 每一行文本用空格拆分成单词
.map(word => (word, 1))
// 每个单词进行转换,word => (word, 1),生成 <Key, Value> 的结构
.reduceByKey(_ + _)
// 相同的 Key 进行统计,统计方式是对 Value 求和,(_ + _)
counts.saveAsTextFile("hdfs://...")
// 将这个 RDD 保存到 HDFS
RDD 是 Spark 的核心概念,是弹性数据集(Resilient Distributed Datasets)的缩写
MapReduce 面向过程的大数据计算
Spark 将大规模数据集合抽象成一个 RDD 对象,然后在这个 RDD 上进行各种计算处理,得到一个新的 RDD,继续计算处理,直到得到最后的结果数据。
Spark 可以理解成是面向对象的大数据计算。 在进行 Spark 编程的时候,思考的是一个 RDD 对象需要经过什么样的操作,转换成另一个 RDD 对象
RDD 上定义的函数分两种