SparkStreaming小例子

1.安装nc才可以打开端口 rpm -ivh /media/CentOS_6.7_Final/Packages/nmap-5.51-4.el6.x86_64.rpm 2.ncat -lk 1234 3. package com.iflytek.sparkstreaming;

import java.util.Arrays;

import org.apache.log4j.Level; import org.apache.log4j.Logger; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java.function.Function2; import org.apache.spark.api.java.function.PairFunction; import org.apache.spark.streaming.Duration; import org.apache.spark.streaming.Durations; import org.apache.spark.streaming.api.java.JavaDStream; import org.apache.spark.streaming.api.java.JavaPairDStream; import org.apache.spark.streaming.api.java.JavaReceiverInputDStream; import org.apache.spark.streaming.api.java.JavaStreamingContext;

import scala.Tuple2; import scala.collection.generic.BitOperations.Int; import scala.collection.script.Start; import sun.net.www.content.audio.x_aiff;

public class SparkStreaming {

 public static void main(String[] args) {   SparkConf sparkConf = new SparkConf().setAppName("sparkSQL");   sparkConf.setMaster("local[2]");   System.setProperty("hadoop.home.dir", "E:\\spark\\spark-1.6.1-bin-hadoop2.6"); //  JavaSparkContext sc = new JavaSparkContext(sparkConf);   JavaStreamingContext jssc=new JavaStreamingContext(sparkConf,Durations.seconds(3));   Logger.getRootLogger().setLevel(Level.OFF);   JavaReceiverInputDStream<String> lines=jssc.socketTextStream("h1", 1234);   JavaDStream<String> words=lines.flatMap(new FlatMapFunction<String,String>() {

   public Iterable<String> call(String x) throws Exception {     return Arrays.asList(x.split(" "));    }   });   JavaPairDStream<String, Integer> pairs=words.mapToPair(new PairFunction<String, String, Integer>() {

   public Tuple2<String, Integer> call(String s) throws Exception {     return new Tuple2<>(s,1);    }   });   JavaPairDStream<String, Integer> javaPairDStream=pairs.reduceByKey(new Function2<Integer, Integer, Integer>() {    @Override    public Integer call(Integer arg0, Integer arg1) throws Exception {     return arg0+arg1;    }   });   javaPairDStream.print();   jssc.start();   jssc.awaitTermination();

 }

}

4.截图

注意:如果向端口发送的信息在控制台显示不出来,记得修改端口号,有可能这个端口被占用。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java学习

每日一练(2017/5/24)

Java基础 | 数据库 | Android | 学习视频 | 学习资料下载 课前导读 ●回复"每日一练"获取以前的题目! ●答案公布时间:为每期发布题目的第二...

31910
来自专栏web前端教室

偶遇--《坑新人--前端专用面试题》

在网上乱逛查资料,偶然看到下面这个js面试题, alert(a) a(); var a=3; function a(){ alert(10) } ...

2046
来自专栏诸葛青云的专栏

要想精通C语言,必须先学习汇编吗?

编程语言里面很少有人直接说出精通两个字,特别是一些入行好多年的程序员,从语法来讲C语言相对来讲入门还是比较容易,在高级语言还没有完全展开的年代,C语言算入门比较...

750
来自专栏编程

编程老司机带你玩转C语言指针

很多初学编程的小伙伴都会选择C语言作为第一门学习的编程语言,应为C语言作为一门底层语言相对于其他的高层语言来说更加容易学习。可以来帮助正在学习编程的小伙伴更加快...

1906
来自专栏java工会

为什么说 C 语言比 Java 难?

“小伙子,我看你骨骼惊奇,是万中无一的编程奇才,维护世界和平就靠你了,我这有本秘籍《Java编程思想》,见与你有缘,就50块买给你了!”

902
来自专栏程序员的知识天地

一个开发十年的程序员论:学习Python最正确的步骤(0基础必备)

首先,学习Python编程技术,自学或者参加培训学习都适用,每个人都有自己的学习方式和方法。

692
来自专栏技术/开源

TypeScript设计模式之中介者、观察者

看看用TypeScript怎样实现常见的设计模式,顺便复习一下。 学模式最重要的不是记UML,而是知道什么模式可以解决什么样的问题,在做项目时碰到问题可以想到...

1948
来自专栏牛客网

双非菜鸟的Java实习面试经历..

3174
来自专栏java系列博客

java程序员必读书单

2544
来自专栏Java学习网

因为一个分号,引起的程序员大讨论

 之前在网上看到过一段有趣的代码,据说在女生节的时候,某软件学院的学生还专门给女生拉了条幅 ?   代码   为了看的更清楚一点,我们把上面的代码整理出来,代码...

2648

扫码关注云+社区