Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子

Win7 Eclipse 搭建spark java1.8编译环境,JavaRDD的helloworld例子:

在eclipse oxygen上创建一个普通的java项目,然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了。

package com;

import java.util.Arrays;

import java.util.List;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaDoubleRDD;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.api.java.function.Function;

public class CollectTest {

public static void main(String[] args) {

SparkConf conf = new SparkConf().setAppName("testCollect防盗版实名手机尾号:73203").setMaster("local");

JavaSparkContext sc = new JavaSparkContext(conf);

List<Double> list = Arrays.asList(1.0, 4.0, 3.0, 7.0,5.0);

JavaDoubleRDD doubleRdd = sc.parallelizeDoubles(list, 2);

/*注意下面Function里面的两个参数Double, Double,代表着call里面的输入和返回两个参数。*/

JavaRDD<Double> mapRdd = doubleRdd.map(new Function<Double, Double>() {

更多请看下节:https://blog.csdn.net/qq_44596980/article/details/93384494

原文链接:https://blog.csdn.net/qq_44596980/article/details/93384494

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏浩Coding

Java实现邮箱验证功能

如题,我们做网站的时候,往往需要用户注册,很多用户选择用邮箱注册,为了获取用户的真实邮箱和防止恶意注册,可能需要做一个邮箱验证,此篇教程就是讲解如何用Java实...

59630
来自专栏浩Coding

Java EE实用教程笔记----(6)第六章 Struts 2综合应用案例

本章主要内容是结合前面所学的Struts2框架知识,编写一个简单的借书系统的实例,其实这些主要是JavaWeb的知识,用Struts2开发而已,基础比较扎实的同...

8320
来自专栏达达前端

第83节:Java中的学生管理系统分页功能

分页功能一般可以做成两种,一种是物理分页,另一种是逻辑分页。这两种功能是有各自的特点的,物理分页是查询的时候,对数据库进行访问,只是查一页数据就进行返回,其特点...

12910
来自专栏浩Coding

Linux下如何查看JDK安装路径

使用 echo $JAVA_HOME 命令可以定位到Java安装路径,但是前提是配置了环境变量$JAVA_HOME,否则还是定位不到,如下所示:

32730
来自专栏达达前端

第76节:Java中的基础知识

设置环境,安装操作系统,安装备份,就是镜像,jdk配置环境,eclipse下载解压即可使用,下载tomcat

7320
来自专栏happyJared

说说线程的生命周期和状态

Java 线程在运行的生命周期中的指定时刻,只可能处于下面 6 种不同状态的其中一个(图源《Java 并发编程艺术》4.1.4 节)。

23740
来自专栏浩Coding

Mybatis的<mapper>标签 namespace属性说明

众所周知,Mybatis中有别名设置。比如在主配置文件中用 <typeAliases> 元素设置类的别名,这样就不用每次指定完整的包名了,十分方便。

44230
来自专栏达达前端

第79节:Java中一些要点

一些知识点忘了没,可以通过一个点引出什么内容呢?做出自己的思维导图,看看自己到了哪一步了呢

9940
来自专栏达达前端

第78节:Java中的网络编程(上)

网络编程涉及ip,端口,协议,tcp和udp的了解,和对socket通信的网络细节.

6220
来自专栏达达前端

第75节:Java中的JSP,EL和JSTL

请求转发请求1次,只能对当前项目跳转,重定向请求2次.重定向是无法传递的,重定向对跳转范围没有限制.

15840

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励