Spark-Core核心RDD基础02

1.SparkContext对象读取文件内容

首先由SparkContext对象sc调用textFile()函数，然后进行collect()操作，也就是做一个reduce操作，即可显示读取的结果

sc读取文件

2.reduce操作实例

实例1：map后，进行reduce操作

reduce操作

刷新Spark的Jobs页面，发现由新的jobs显示处理了。此时的Jobs不仅有collect,还有reduce了。

Jobs列表

实例2：执行wholeTextFiles后，再进行collect操作。

wholeTextFiles操作

此时再来刷新一下UI上的Jobs列表，发现有新的变化了。

Jobs列表

【小结】

日拱一卒，终有所获。