Spark-实例0.Word Count

package com.junzerg

import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext}

object WordCount { def main(args: Array[String]): Unit = { /** * 获取编程入口 * 1.初始化一个SparkContext对象 / val conf: SparkConf = new SparkConf() conf.setAppName("WordCount") conf.setMaster("local") val sc: SparkContext = new SparkContext(conf) /* * 通过编程入口加载数据： * 1.使用textFile函数将输入文件转化成一个RDD / val lines: RDD[String] = sc.textFile("/Users/pengjunzhe/Downloads/spark-2.4.0-bin-hadoop2.7/README. /* * 对数据进行处理： * 1. 将数据每行字符串解析出单词 * 2. 筛选只有字母的部分，也就是单词 * 3. 将相同的单词放到一个组中 * 4. 根据字母排序将RDD分区 * 5. 统计每个组中每个单词出现的频率 * 6. 筛选出现次数大于1的单词 * 7.根据出现次数排序 */ val words = lines .flatMap(.split(" ")) .filter(.matches("[A-Za-z]+")) .map((, 1)) .partitionBy(new AlphaPartitioner(2)) .reduceByKey( + ) .filter(.2 > 1) .sortBy(._2, false)

/**
  * 对结果数据进行处理
  *   1、 存储结果/显示结果
  */
words.foreachPartition(_.foreach(println(_)))

/**
  * 结束关闭入口
  */
sc.stop()

} }