专栏首页魏琼东centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建

centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建

一、Java安装

1、安装包准备:

首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html,我下载jdk-7u79-linux-x64.tar.gz,下载到主目录

2、解压安装包

通过终端在/usr/local目录下新建java文件夹,命令行:

sudo mkdir /usr/local/java

然后将下载到压缩包拷贝到java文件夹中,命令行:

进入jdk压缩包所在目录

cp jdk-7u79-linux-x64.tar.gz /usr/local/java

然后进入java目录,命令行:

cd /usr/local/java

解压压缩包,命令行:

sudo tar xvf jdk-7u79-linux-x64.tar.gz

然后可以把压缩包删除,命令行:

sudo rm jdk-7u79-linux-x64.tar.gz

3、设置jdk环境变量

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
export JRE_HOME=/usr/local/java/jdk1.7.0_79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH

使profile生效

source /etc/profile

4、检验是否安装成功

在终端

java -version

显示如下

java version "1.7.0_79" Java(TM) SE Runtime Environment (build 1.7.0_79-b15) Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

PS:后来发现直接rpm包jdk-7u79-linux-x64.rpm桌面双击安装也OK,^_^

二、scala2.11.4安装

1、安装包准备:

首先到官网下载scala,http://www.scala-lang.org/,下载scala-2.11.4.tgz,并复制到/usr/bib

2、解压安装包

tar -zxf scala-2.11.4.tgz

3、设置scala环境变量

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SCALA_HOME=/usr/lib/scala-2.11.4 export PATH=$SCALA_HOME/bin:$PATH

使profile生效

source /etc/profile

4、检验是否安装成功

在终端

scala -version

显示如下

Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL

三、hadoop2.3安装

1、安装包准备:

hadoop版本有点混乱,除了http://hadoop.apache.org/有众多版本之外,还有Cloudera公司的CDH版本,请从观望下载hadoop-2.3.0.tar.gz或者下载CDH版本hadoop-2.3.0-cdh5.0.0.tar.gz,本文环境是在hadoop-2.3.0-cdh5.0.0.tar.gz之上建立。

2、解压安装包

下载安装包之后复制到/usr目录。

tar -zxf hadoop-2.3.0-cdh5.0.0.tar.gz
解压后生成hadoop-2.3.0-cdh5.0.0,重命名为hadoop-2.3.0。

3、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export HADOOP_HOME=/home/zero/hadoop/hadoop-2.3.0
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

使profile生效

source /etc/profile

3、建立hadoop用户

useradd hadoop

passwd hadoop

3、配置SSH免登录

su  hadoop  //切换到hadoop用户目录下

ssh-keygen-t rsa(一路回车 生成密钥)

cd/home/hadoop/.ssh/

scp  id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/

mv id_rsa.pub authorized_keys

四、spark1.3.1安装

1、安装包准备:

spark官网下载spark-1.3.1-bin-hadoop2.3.tgz。

2、解压安装包

下载安装包之后复制到/usr目录。

tar -zxf spark-1.3.1-bin-hadoop2.3.tgz
解压后生成spark-1.3.1-bin-hadoop2.3,重命名为spark-1.3.1-hadoop2.3。

3、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3 export PATH=$SPARK_HOME/bin:$PATH

使profile生效

source /etc/profile

4、配置环境

这里采用全局设置方法,就是修改etc/profile,它是是所有用户的共用的环境变量

sudo vi /etc/profile

打开之后在末尾添加

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3 export PATH=$SPARK_HOME/bin:$PATH

使profile生效

source /etc/profile

配置Spark环境变量

cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh

vi spark-env.sh 添加以下内容:

export JAVA_HOME=/usr/local/java-1.7.0_79
export HADOOP_HOME=/usr/hadoop-2.3.0
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SCALA_HOME=/usr/lib/scala-2.11.4
export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
 
export SPARK_WORKER_CORES=3 //每个Worker使用的CPU核数
export SPARK_WORKER_INSTANCES=1 //每个Slave中启动几个Worker实例
export SPARK_WORKER_MEMORY=10G //每个Worker使用多大的内存
export SPARK_WORKER_WEBUI_PORT=8081 //Worker的WebUI端口号
export SPARK_EXECUTOR_CORES=1 //每个Executor使用使用的核数
export SPARK_EXECUTOR_MEMORY=1G //每个Executor使用的内存

export SPARK_CLASSPATH=/usr/spark-1.3.1-hadoop2.3/lib/sequoiadb-driver-1.12.jar:/usr/spark-1.3.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-1.12.jar  //使用巨衫数据库 export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATH export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ

配置Slave

cp slaves.template slaves vi slaves 添加以下内容: localhost

5、启动Spark  Master

cd $SPARK_HOME/sbin/ ./start-master.sh

6、启动Spark  Slave

cd $SPARK_HOME/sbin/ ./start-slaves.sh

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Java中被你忽视的四种引用

    正文开始前,有必要先了解下Java内存分配与回收,请见我的相关博文。 —————————————————————————————————— Java的数据类型分...

    大闲人柴毛毛
  • Java基础笔记——学习Java前的准备

            接下来的一个月我会和大家分享我学JavaSE时候的笔记,分享是最好的老师,希望我的笔记能给大家一些帮助。 我会每天发一篇文章,这些都是我学Jav...

    大闲人柴毛毛
  • Java基础深入解析——类与对象

    成员变量与局部变量的区别 1.成员变量定义在类中,整个类中都能够访问。   局部变量定义在局部代码块中,只能在局部代码块中访问。 2.成员变量存在于堆内存中,有...

    大闲人柴毛毛
  • java处理高并发高负载类网站的优化方法

    一:高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用,数据库的响应是首先要解决的。   ...

    大闲人柴毛毛
  • 提高Java代码质量的Eclipse插件之Checkstyle的使用详解

    CheckStyle是SourceForge下的一个项目,提供了一个帮助JAVA开发人员遵守某些编码规范的工具。它能够自动化代码规范检查过程,从而使得开发人员...

    大闲人柴毛毛
  • Windows环境Java开发环境搭建

    本文讲解在Windows操作系统下如何搭建Java环境变量。 一、首先下载JDK安装包。 二、安装。 三、配置Java环境变量。 四、运行CMD测试是否安装成功...

    赵腰静
  • 深入Java虚拟机——JVM内存详解

    在C++中,程序员拥有每一个对象的所有权,但与此同时还肩负着释放对象内存空间的责任;而Java由于有了虚拟机的帮助,程序员拥有对象的所有权的同时不再需要释放对象...

    大闲人柴毛毛
  • String类中你不知道的知识

    直接量创建对象更高效 在Java中,创建一个字符串有两种方法: //第一种方法 String str1 = "字符串1"; //第二种方法 String str...

    大闲人柴毛毛
  • 深入Java虚拟机——JVM内存详解

    在C++中,程序员拥有每一个对象的所有权,但与此同时还肩负着释放对象内存空间的责任;而Java由于有了虚拟机的帮助,程序员拥有对象的所有权的同时不再需要释放对象...

    大闲人柴毛毛
  • ant安装、环境变量配置及验证

    一、安装ant 到官方主页http://ant.apache.org下载新版(目前为Ant1.8.1)的ant,得到的是一个apache-ant-1.8.1-...

    庞小明

扫码关注云+社区

领取腾讯云代金券