的身影,其实Hadoop更多的可以看做是大数据的基础设施,它本身提供了HDFS文件系统用于大数据的存储,当然还提供了MR用于大数据处理,但是MR有很多自身的缺点,针对这些缺点也已经有很多其他的方法,类如针对...使用一些其他文件储存系统类如Hdsf:
先要上传一个文件,这里还是上传上面的sparktest.txt吧,进行一个wordcount任务
?...可以看到使用map时实际上是[ [0,1,2,3,4],[0,1,2],[0,1,2,3,4,5,6] ]
类如切分单词,用map的话会返回多条记录,每条记录就是一行的单词,
而用flatmap则会整体返回一个对象即全文的单词这也是我们想要的...groupbykey:通过key进行分组
在java中返回类型还是一个JavaPairRDD,第一个类型是key,第二个是Iterable里面放了所有相同key的values值
?...:即将RDD所有元素聚合,第一个和第二个元素聚合产生的值再和第三个元素聚合,以此类推
?