Spark wordcount开发并提交到单机(伪分布式)运行

使用的ide是idea

packagecom.fsl

importorg.apache.spark.{SparkConf,SparkContext}

/**

* Created by Juvenile on 2017/2/24.

* 统计字符出现次数

*/

objectWordCountScala {

defmain(args: Array[String]) {

if(args.length <1) {

System.err.println("Usage: ")

System.exit(1)

}

valconf =newSparkConf()

valsc =newSparkContext(conf)

valline = sc.textFile(args(0))

line.flatMap(_.split("\t")).map((_,1)).reduceByKey(_ + _).collect.foreach(println)

sc.stop

}

}

导出成jar包。

上次到集群服务器: mySparkTest-1.0.jar

进入spark文件夹下执行 spark-submit --name WordCountScala --class com.fsl.WordCountScala --master spark://master:7077 --executor-memory 1G --total-executor-cores 1 /root/mySparkTest-1.0.jar hdfs://master:9000/user/data.txt 即可

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏虚拟化云计算

libvirt-内存分配和内存热插拔

在qemu命令中使用参数-m来设置的。表示虚拟机在启动阶段使用的内存。包括在启动或稍后热插拔时指定的可能的附加内存。

3849
来自专栏Eugene's Blog

Python执行系统命令四种方法分类目录文章标签友情链接联系我们

1223
来自专栏坚毅的PHP

my python FAQ

python编码规范 http://google-styleguide.googlecode.com/svn/trunk/pyguide.html 判断对象是否...

3287
来自专栏Greenplum

Linux 常用命令(五)

USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND

340
来自专栏数据之美

shell 学习笔记(16)

转载请注明出处: https://cloud.tencent.com/developer/user/1177713/activities 注:以前的1-15连载...

21410
来自专栏debugeeker的专栏

adobe flash player升级coredump分析

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/xuzhina/article/detai...

441
来自专栏你不就像风一样

Java获取Window和Linux系统的项目ClassPath路径

如果是在IDE中启动,则获得的路径为D:\xxxx\projectName,包括项目名;

652
来自专栏python3

python3--基础综合测试

解释:char类型在python中不存在,它是其他编程语言的一种数据类型,比如C/C++,JAVA

641
来自专栏Java Edge

操作系统之文件管理概述1 文件和文件系统3 目录管理4 文 件 共 享5 文件保护5.1.1 访问矩阵的实现6 文件物理结构(重点)2文件存储空间管理(重点)

28210
来自专栏安恒网络空间安全讲武堂

Python编写渗透工具学习笔记一 | 0x04 nmap实现端口扫描(准确性更高)

0x04 nmap实现端口扫描 在windows下安装nmap模块会遇到一些障碍,主要是路径的一些问题,在linux下会比较容易。 #实现功能 端口扫描 先介绍...

4669

扫码关注云+社区