WordCount案例

import java.util.Arrays;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaPairDStream;
import org.apache.spark.streaming.api.java.JavaReceiverInputDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import scala.Tuple2;

public class WordCount {

​public static void main(String[] args) throws InterruptedException {
​​// 创建SparkConf对象
​​// 但是这里有一点不同，我们是要给它设置一个Master属性，但是我们测试的时候使用local模式
​​// local后面必须跟一个方括号，里面填写一个数字，数字代表了，我们用几个线程来执行我们的
​​// Spark Streaming程序
​​SparkConf conf = new SparkConf().setMaster("local[2]").setAppName(​​​​"WordCount");

​​// 创建JavaStreamingContext对象
// 该对象，就类似于Spark Core中的JavaSparkContext，就类似于Spark SQL中的SQLContext
// 该对象除了接收SparkConf对象对象之外
​​// 还必须接收一个batch interval参数，就是说，每收集多长时间的数据，划分为一个batch，进行处理
​​// 这里设置一秒
JavaStreamingContext jssc = new JavaStreamingContext(conf,​​​​Durations.seconds(1));

​​// 首先，创建输入DStream，代表了一个从数据源（比如kafka、socket）来的持续不断的实时数据流
// 调用JavaStreamingContext的socketTextStream()方法，可以创建一个数据源为Socket网络端口的
// 数据流，JavaReceiverInputStream，代表了一个输入的DStream
​​// socketTextStream()方法接收两个基本参数，第一个是监听哪个主机上的端口，第二个是监听哪个端
JavaReceiverInputDStream<String> lines = jssc.socketTextStream(​​​​"localhost", 9999);

​​// 到这里为止，你可以理解为JavaReceiverInputDStream中的，每隔一秒，会有一个RDD，其中封装了
​​// 这一秒发送过来的数据
​​// RDD的元素类型为String，即一行一行的文本
​​// 所以，这里JavaReceiverInputStream的泛型类型<String>，其实就代表了它底层的RDD的泛型类型

​​// 开始对接收到的数据，执行计算，使用Spark Core提供的算子，执行应用在DStream中即可
​​// 在底层，实际上是会对DStream中的一个一个的RDD，执行我们应用在DStream上的算子
// 产生的新RDD，会作为新DStream中的RDD
​​JavaDStream<String> words = lines​​​​.flatMap(new FlatMapFunction<String, String>() {
​​​​​private static final long serialVersionUID = 1L;

​​​​​@Override
​​​​​public Iterable<String> call(String t) throws Exception {
​​​​​​// TODO Auto-generated method stub
​​​​​​return Arrays.asList(t.split(" "));
​​​​​}
​​​​});
​​// 这个时候，每秒的数据，一行一行的文本，就会被拆分为多个单词，words DStream中的RDD的元素类型
​​// 即为一个一个的单词

​​// 接着，开始进行flatMap、reduceByKey操作
JavaPairDStream<String, Integer> pairs = words.mapToPair(new PairFunction<String, String, Integer>() {

@Override
public Tuple2<String, Integer> call(String t) ​​​​​​​throws Exception {
​​​​​​// TODO Auto-generated method stub
​​​​​​return new Tuple2<String, Integer>(t, 1);
​​​​​}
​​​​});
// 这里，正好说明一下，其实大家可以看到，用Spark Streaming开发程序，和Spark Core很相像
​​// 唯一不同的是Spark Core中的JavaRDD、JavaPairRDD，都变成了JavaDStream、JavaPairDStream
​​JavaPairDStream<String, Integer> wordCounts = pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {
 @Override
public Integer call(Integer v1, Integer v2) ​​​​​​​throws Exception {
​​​​​​// TODO Auto-generated method stub
​​​​​​return v1 + v2;
​​​​​}
​​​​});

​​Thread.sleep(5000);
wordCounts.print();
 ​​// 首先对JavaSteamingContext进行一下后续处理
​​// 必须调用JavaStreamingContext的start()方法，整个Spark Streaming
​​// Application才会启动执行
​​// 否则是不会执行的
​​jssc.start();
​​jssc.awaitTermination();
​​jssc.close();
​}
}

import org.apache.spark.SparkConf
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.StreamingContext

/**
* @author Administrator
*/
object WordCount {

 def main(args: Array[String]): Unit = {
 val conf = new SparkConf()
   .setMaster("local[2]")
   .setAppName("WordCount")
   
val ssc = new StreamingContext(conf, Seconds(20))

val lines = ssc.socketTextStream("localhost", 9999)
val words = lines.flatMap { _.split(" ") }  
val pairs = words.map { word => (word, 1) }  
val wordCounts = pairs.reduceByKey(_ + _)  

wordCounts.print()  

ssc.start()
ssc.awaitTermination()
}
}