RDD
概念与特性
RDD是Spark最重要的抽象。spark统一建立在抽象的RDD之上。设计一个通用的编程抽象,使得spark可以应对各种场合的大数据情景。RDD模型将不同的组件融合到一起,选用其中的几个/所有,可以应付各种不同的场景。解决了mr的缺陷:
分区
计算
依赖
RDD的创建
从外部数据集中读取。来源于文件系统,这里的路径要让每个RDD的节点都能访问到:
lines = sc.textFile("文件路径") // 可以指定分片的个数 lines = sc.textFle("路径",3) // 返回一个文件名:文件内容的二元组 lines = sv.whileFile("路径")
从驱动程序中对一个集合进行并行化,在测试的时候用的多:
val lines = sc.parallelize(list["name","age"])
RDD的转化
map RDD.map(fun) 将函数应用于每个元素,结果返回一个RDD包含每个元素的函数处理结果 flatmap RDD.flatmap(fun) 同map,结果返回一个包含所有处理结果的整体。生成的分片数不变,只是在逻辑上成一个整体 filter RDD.filter(fun) 过滤掉不符合要求的数据 distinct RDD.distinct() 去重,需要shuffle代价大 union RDD.union(RDD1) 两个RDD求并集 intersection RDD. intersection(RDD1) 两个RDD求交集 substract RDD.substract(RDD1) 从RDD中移除RDD1的内容 cartesian RDD.cartesian(RDD1) 生成RDD与RDD1的笛卡尔积 pipe RDD.pipe("shell命令") 利用linux中的shell语言,对数据操作。 zip RDD.zip(RDD1) 将RDD和RDD1组成一个kv格式的新RDD
RDD的行动
collect() RDD.collect() 返回RDD中的所有元素。只能计算小规模的RDD,否则要shuffle代价大 count() RDD.count() 统计RDD中元素的个数 countByVale() RDD.countByValue() 每个元素在RDD中出现的次数。 take() RDD.take(n) 返回RDD中的n个元素 top() RDD.top(N) 返回RDD中的前N个元素 takeOrdered() RDD.takeOrdered(n) 按照要求的顺序返回前n个元素 takeSample() RDD.takeSample(n) 从RDD中任意返回n个元素 reduce() RDD.reduce(fun) 并行整合RDD中所有的元素 fold() RDD.fold(num)(fun) 提供初始值,的reduce aggregate() RDD.aggregate() ????????? foreach() RDD.foreach(fun) 对RDD中的 每个元素使用给定的函数
RDD的持久化
RDD.saveAsTextFile("路径")
RDD的工作流程
原文:http://blog.csdn.net/u011283591/article/details/66972088