腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

java大数据

专栏作者

627

文章

443534

阅读量

29

订阅数

Win7 Eclipse 搭建spark java1.8环境：WordCount helloworld例子

Win7 Eclipse 搭建spark java1.8环境：WordCount helloworld例子马克-to-win @ 马克java社区：在eclipse oxygen上创建一个普通的java项目，然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了。只要启动start-dfs,下面的程序就可以运行了。 package com; import java.util.Arrays; import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.FlatMapFunction; import org.apache.spark.api.java.function.Function2; import org.apache.spark.api.java.function.PairFunction; import org.apache.spark.api.java.function.VoidFunction; import scala.Tuple2; public class WordCount1 { public static void main(String[] args) { SparkConf conf = new SparkConf().setMaster("local").setAppName("wc");

马克java社区

2019-07-17

3940

请给出一个Scala RDD的HelloWorld例子

spark 编程算法

package com import org.apache.spark.rdd.RDD import org.apache.spark.SparkConf import org.apache.spark.SparkContext object TestRDD { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("TestRDD").setMaster("local") val sc = new SparkContext(conf) val rdd1 = sc.makeRDD(List(1, 4, 3, 7, 5)) val rdd1_1 = rdd1.map { y => y * y } val aList = rdd1_1.collect() println("map 用法 is " + aList.mkString(",")) val rdd2 = sc.makeRDD(Array(1, 4, 3, 7, 5)) val rdd2_1 = rdd2.filter { x => x < 5 } println("filter 用法 " + rdd2_1.collect().mkString(","))

马克java社区

2019-07-16

4240

Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子

Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子：

马克java社区

2019-07-17

4820

Windows32或64位下载安装配置Spark

spark hadoop java scala

Windows 32或64位下载安装配置Spark： 1）下载地址：http://spark.apache.org/downloads.html 马克-to-win @ 马克java社区：选择需要下载的Spark版本，我选的是当前最新的版本2.2.0。因为我已经安装了Hadoop 2.7.4版本的，所以我选择对应的Pre-built for Hadoop 2.7 and later。注意网站上说scala要求2.11版本以上。(在我的新机器上，是没有预先装scala的，先装的spark，证明这么装的顺序是可行的)

马克java社区

2019-06-22

7780

Win7 Eclipse 搭建spark java1.8(lambda)环境：WordCount helloworld例子

java 编程算法 spark

Win7 Eclipse 搭建spark java1.8(lambda)环境：WordCount helloworld例子 lambda表达式是java8给我们带来的一个重量的新特性，借用lambda表达式可以让我们的程序设计更加简洁。 package com; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.VoidFunction; import scala.Tuple2; import java.util.Arrays; import java.util.List; public class WordCountLambda { public static void main(String[] args) { SparkConf conf = new SparkConf().setAppName("WordCountLambda马克-to-win @ 马克java社区：").setMaster("local"); JavaSparkContext sc = new JavaSparkContext(conf); JavaRDD<String> lines = sc.textFile("E://temp//input//friend.txt"); JavaRDD<String> words = lines.flatMap(line -> Arrays.asList(line.split(" "))); JavaPairRDD<String, Integer> wordAndOne = words.mapToPair(word -> new Tuple2<>(word, 1)); JavaPairRDD<String, Integer> results = wordAndOne.reduceByKey((x, y) -> x + y); /* 下面一句也能工作。*/ // reduced.saveAsTextFile("E://temp//input//friend1.txt"); /*word:o1abc count:4 word:45 count:1 word:77 count:1*/ results.foreach(new VoidFunction<Tuple2<String,Integer>>() { public void call(Tuple2<String, Integer> tuple) throws Exception { System.out.println("word:" + tuple._1 + " count:" + tuple._2); } }); /*resultsPair is (o1abc,4) resultsPair is (45,1) resultsPair is (77,1)*/ List<Tuple2<String,Integer>> resultsPairs = results.collect(); for (Tuple2<String, Integer> resultsPair : resultsPairs) {

马克java社区

2019-07-19

4170

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态