Spark入门之WordCount

环境: Hadoop版本：Apache Hadoop2.7.1 Spark版本：Apache Spark1.4.1 核心代码：

测试数据：

Java代码

1. a,b,a
2. c,d,f
3. a,b,h,p,z
4. a,f,o

在命令行使用sbt打包：sbt clean package 上传jar至Hadoop或者Spark的集群上，如何提交？

Java代码

1. 三种模式提交:
2. （1）需要启动HDFS+YRAN，无须启动spark的standalone集群
3. bin/spark-submit --class com.spark.helloword.WordCount --master yarn-client ./spark-hello_2.11-1.0.jar
5. （2）启动spark的standalone集群，并启动的Hadoop的HDFS分布式存储系统即可
6. bin/spark-submit --class com.spark.helloword.WordCount --master spark://h1:7077 ./spark-hello_2.11-1.0.jar
8. （3）//需要启动HDFS+YRAN，无须启动spark的standalone集群
9. //--name 指定作业名字
10. bin/spark-submit --class com.spark.helloword.WordCount --master yarn-cluster --name test-spark-wordcount ./spark-hello_2.11-1.0.jar

执行结果：

Java代码

1. (a,4)
2. (b,2)
3. (f,2)
4. (d,1)
5. (z,1)
6. (p,1)
7. (h,1)
8. (o,1)
9. (c,1)

运行模式截图：