原 Spark On Yarn完全分布式搭

Spark On Yarn完全分布式搭建

    Spark On Yarn的搭建分为三个阶段,第一个是Zookeeper集群的搭建,第二是Hadoop集群的搭建,第三是Spark集群的搭建。所以以下将按照这三个步骤来给大家进行展示Spark On Yarn完全分布式搭建。

一、准备

1、软件及版本

    1. jdk-8u65-linux-x64.tar.gz

    2. scala-2.11.0.tgz

    3. zookeeper-3.4.7.tar.gz

    4. hadoop-2.7.1_64bit.tar.gz

    5. spark-2.0.1-bin-hadoop2.7.tgz

2、服务器

    这里将使用六台服务器进行搭建。分别命名spark01、spark02、spark03、spark04、spark05、spark06。

    首先要解释,偶数台服务器并不是某个集群偶数台,而是三个集群共用了偶数台服务器,查看下面的角色分配,你就会明白。

1.角色分配

    Zookeeper集群分配三台。

    Hadoop分配需要分开说:

    首先时HDFS:两个主节点,三个从节点,5台。

    JN集群:三台

    Yarn集群:两个主节点,三个从节点,5台。

    Spark集群:三台。

    将以上各个集群的节点合并,具体分配如下:

    spark01:Zookeeper、ResourceManager(active)、NameNode(active)。

    spark02:Zookeeper、NameNode(standby)。

    spark03:Zookeeper、ResourceManager(standby)。

    spark04:JournalNode、DataNode、NodeManager、Spark。

    spark05:JournalNode、DataNode、NodeManager、Spark。

    spark06:JournalNode、DataNode、NodeManager、Spark。

2.服务器设置

    每台服务器都要进行如下的配置。

1>关闭防火墙

    此项配置,是根据自己的需求进行配置,这里为了方便搭建,进行了关闭,也可以进行端口开放,不过比较麻烦。

service iptables status #查看防火墙状态
service iptables start #立即开启防火墙,但是重启后失效。
service iptables stop #立即关闭防火墙,但是重启后失效。
#重启后生效
chkconfig iptables on #开启防火墙,重启后生效。
chkconfig iptables off #关闭防火墙,重启后生效。

2>配置主机名

    文件位置:/etc/sysconfig/network

vim /etc/sysconfig/network

    !!!!!注意安装hadoop的集群主机名不能有下划线!!不然会找不到主机!无法启动!

示例:

source /etc/sysconfig/network

    经过上面的修改,主机名称不会马上改变,必须重启才能生效。所以可以使用如下命令进行立即更改:

hostname spark01

3>配置hosts

    文件位置:/etc/hosts

vim /etc/hosts

    以下为填入内容示例:

127.0.0.1   localhost
::1         localhost
192.168.234.21 spark01
192.168.234.22 spark02
192.168.234.23 spark03
192.168.234.24 spark04
192.168.234.25 spark05
192.168.234.26 spark06

    配置好此文件之后可以通过远程命令将配置好的hosts文件scp到其他5台节点上,执行命令如下:

scp /etc/hosts spark02: /etc/hosts
scp /etc/hosts spark03: /etc/hosts
scp /etc/hosts spark04: /etc/hosts
scp /etc/hosts spark05: /etc/hosts
scp /etc/hosts spark06: /etc/hosts

4>配置免密登录

    集群中所有主机都要互相进行免密登录,包括自己和自己。

    生成密钥:

ssh-keygen

    发送公钥:

ssh-copy-id root@spark01

    此时在远程主机的/root/.ssh/authorized_keys文件中保存了公钥,在known_hosts中保存了已知主机信息,当再次访问的时候就不需要输入密码了。

ssh spark01

    通过此命令远程连接,检验是否可以不需密码连接。

    记得免密登录一定要给本机发送。

    此次集群数量,互相发送免密登录的次数为36次。

3.安装jdk

1>解压安装

    将jdk安装包上传、解压安装包,并更名,命令如下:

tar -zxvf jdk-8u65-linux-x64.tar.gz
mv jdk1.8.0_65 jdk1.8

2>配置环境变量

    修改/etc/profile。

    这个文件是每个用户登录时都会运行的环境变量设置,当用户第一次登录时,该文件被执行。并从/etc/profile.d目录的配置文件中搜集shell的设置。

vim /etc/profile

    在文件行尾加入以下内容后保存退出。

JAVA_HOME=/home/software/jdk1.8/
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH

4.安装Scala

1>解压安装

    上传解压scala-2.11.0.tgz,并更名,命令如下:

tar -zxvf scala-2.11.0.tgz
mv scala-2.11.0 scala2.11

2>配置环境变量

修改/etc/profile。

vim /etc/profile

    配置示例:

    上图将Hadoop的环境变量也一起配置了,下面也有Hadoop的环境变量配置。

3>重新加载

    重新加载profile使配置生效。

source /etc/profile

    环境变量配置完成,测试环境变量是否生效。

echo $JAVA_HOME
java -version
scala

    如上两步操作,操作完一台之后,可以进行远程拷贝,减少工作量。

二、Zookeeper完全分布式搭建

    参见:Zookeeper集群的搭建

三、Hadoop2.0 HA集群搭建步骤

    此示例以spark01节点服务器为示例。

1、安装

    直接解压Hadoop压缩包即可。

2、配置

    以下配置文件均在hadoop-2.7.1/etc/hadoop目录下。

1.hadoop-env.sh

    编辑hadoop-env.sh文件,命令如下:

vim hadoop-env.sh

    此文件配置两项:jdk安装所在目录、hadoop配置文件所在目录。

    如图:

2.core-site.xml

    直接编辑core-site.xml文件,命令如下:

vim core-site.xml

    此文件配置项内容如下:

<configuration>
<!--用来指定hdfs的老大,ns为固定属性名,此值可以自己设置,但是后面的值要和此值对应,表示两个namenode-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!--用来指定hadoop运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop-2.7.1/tmp</value>
</property>
<!--执行zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>spark01:2181,spark02:2181,spark03:2181</value>
</property>
</configuration>

3.hdfs-site.xml

    直接编辑hdfs-site.xml文件,命令如下:

vim hdfs-site.xml

    配置内容如下:

<configuration>
<!--执行hdfs的nameservice为ns,和core-site.xml保持一致-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!--ns下有两个namenode,分别是nn1,nn2-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>nn1,nn2</value>
</property>
<!--nn1的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn1</name>
<value>spark01:9000</value>
</property>
<!--nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn1</name>
<value>spark01:50070</value>
</property>
<!--nn2的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.ns.nn2</name>
<value>spark02:9000</value>
</property>
<!--nn2的http通信地址-->
<property>
<name>dfs.namenode.http-address.ns.nn2</name>
<value>spark02:50070</value>
</property>
<!--指定namenode的元数据在JournalNode上的存放位置,
   这样,namenode2可以从jn集群里获取最新的namenode的信息,达到热备的效果-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://spark04:8485;spark05:8485;spark06:8485/ns</value>
</property>
<!--指定JournalNode存放数据的位置-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/software/hadoop-2.7.1/journal</value>
</property>
<!--开启namenode故障时自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--配置切换的实现方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!--配置隔离机制的ssh登录秘钥所在的位置-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
 
<!--配置namenode数据存放的位置,可以不配置,如果不配置,默认用的是
     core-site.xml里配置的hadoop.tmp.dir的路径-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/software/hadoop-2.7.1/tmp/namenode</value>
</property>
<!--配置datanode数据存放的位置,可以不配置,如果不配置,默认用的是
          core-site.xml里配置的hadoop.tmp.dir的路径-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/software/hadoop-2.7.1/tmp/datanode</value>
</property>
 
<!--配置block副本数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件,生产环境不配置此项,默认为true-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

4.mapred-site.xml

    需要复制mapred-site.xml.template更名为mapred-site.xml然后配置,命令如下:

cp mapred-sit.xml.template mapred-site.xml
vim mapred-site.xml

    配置内容如下:

<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5.yarn-site.xml

    直接编辑yarn-site.xml文件,命令如下:

vim yarn-site.xml

    配置内容如下:

<configuration>
 <!-- 开启YARN HA --> 
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

  <!-- 指定两个resourcemanager的名称 --> 
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<!-- 配置rm1,rm2的主机 --> 
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>spark01</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>spark03</value>
</property>

<!--开启yarn恢复机制-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<!--执行rm恢复机制实现类-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

<!-- 配置zookeeper的地址 -->  
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>spark01:2181,spark02:2181,spark03:2181</value>
<description>For multiple zk services, separate them with comma</description>
</property>

<!-- 指定YARN HA的名称 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-ha</value>
</property>

<property>
<!--指定yarn的老大 resoucemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>spark03</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

6.slaves

    直接编辑slaves文件,命令如下:

vim slaves

    配置内容如下:

spark04
spark05
spark06

    这里面可以填写主机名,也可以填写ip地址,建议填写主机名,根据以上角色分配填写。

3、环境变量

    如果在上面已经配置过了,此步骤可以忽略

1.配置环境变量

    配置hadoop的环境变量,命令如下:

vim /etc/profile

    内容如下:

JAVA_HOME=/home/software/jdk1.8
HADOOP_HOME=/home/software/hadoop-2.7.1
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export JAVA_HOME PATH HADOOP_HOME

    Hadoop的环境变量也可以不配置,但是如果不配置的话,后期命令操作会比较麻烦,需要一直切换目录。配置了环境变量之后,就可以在任何目录下使用Hadoop的命令了。

2.重新加载

source /etc/profile

    重新加载之后才会生效。

4、创建文件夹

    根据配置文件,创建相关的文件夹,用来存放对应数据。

    在hadoop-2.7.1目录下创建:

    ①journal目录。

    ②创建tmp目录。

    ③在tmp目录下,分别创建namenode目录和datanode目录。

    命令如下:

#当前所在Hadoop根目录
mkdir journal
mkdir tmp
cd tmp/
mkdir namenode
mkdir datanode

5、拷贝文件

    通过scp 命令,将hadoop安装目录远程copy到其他5台机器上。

    比如向spark02节点传输:

scp -r hadoop-2.7.1  root@spark02:/home/software/hadoop-2.7.1

    远程拷贝之前要先在其他服务器上创建对应的目录,否则拷贝失败。

6、Hadoop集群启动

1.启动zookeeper集群

    在Zookeeper安装目录的bin目录下执行:

sh zkServer.sh start

    此命令需要在所有的Zookeeper节点服务器上执行,执行完成可以使用以下命令查看启动状态:

sh zkServer.sh status

    以下是查看进程命令:

jps

2.格式化zookeeper

    在zk的leader节点服务器上,Hadoop的bin目录中执行如下命令:

sh hdfs zkfc -formatZK

    这个指令的作用是在zookeeper集群上生成ha节点(ns节点)。

    如果配置了Hadoop的环境变量,那么在此节点的任何目录下都可以执行如下命令:

hdfs zkfc -formatZK

3.启动journalnode集群

    在04、05、06任意节点服务器上,即分配了journalnode角色的节点服务器上,切换到hadoop安装目录的sbin目录下,执行如下命令:

sh hadoop-daemons.sh start journalnode

    注意:此命令执行一次就可以启动所有journalnode节点。如下图,命令使用的是hadoop-daemons.sh,是有s的,启动的时候一定要注意,不要用错了命令。

    然后执行jps命令查看:

    如果此项启动不成功尝试重启,这项启动不成功会影响下一步的格式化。

4.格式化NameNode

    在spark01服务器上格式化namenode,执行如下命令:

hadoop namenode -format

5.启动NameNode

1>spark01服务器

    在spark01节点上执行如下命令,启动NameNode节点:

hadoop-daemon.sh start namenode

2>spark02服务器

    首先把spark02服务器的 namenode节点变为standby namenode节点。

    执行命令如下:

hdfs namenode -bootstrapStandby

    启动spark02服务器的namenode节点,执行命令如下:

hadoop-daemon.sh start namenode

6.启动DataNode

    在spark04、spark05、spark06服务器上分别启动datanode节点,在这三台服务器上分别执行如下命令:

hadoop-daemon.sh start datanode

7.启动zkfc

    FalioverControllerActive是失败恢复线程。这个线程需要在NameNode节点所在的服务器上启动,在spark01、spark02服务器上执行如下命令:

hadoop-daemon.sh start zkfc

8.启动Resourcemanager

1>spark01服务器

    在spark01服务器上启动主Resourcemanager节点,执行如下命令:

start-yarn.sh

    启动成功后,spark04、spark05、spark06服务器上的nodemanager 也会跟随启动。

2>spark03服务器

    在spark03服务器上启动副 Resoucemanager节点,执行如下命令:

yarn-daemon.sh start resourcemanager

7、测试

    在浏览器中输入地址:http://192.168.234.21:50070,查看namenode的信息,是active状态的。此ip地址是我在配置的时候使用的ip地址,请不要照搬,要写自己使用的ip地址。

    输入地址:http://192.168.234.22:50070,查看namenode的信息,是standby状态。

    然后使用kill命令停掉spark01节点的namenode,此时发现standby的namenode变为active。证明热备成功。

    查看yarn的管理地址

    http://192.168.234.21:8088(spark01的8088端口)

四、Spark On Yarn搭建

1、安装

    在spark04、spark05、spark06节点上安装配置spark。此处以spark04服务器为例。

    直接解压压缩包即可。

2、配置

    进入Spark安装目录的conf目录,配置以下文件。

1.spark-env.sh

    conf目录下没有此文件,需要复制模版文件spark-env.sh.template更名,命令如下:

cp spark-env.sh.template spark-env.sh
vim spark-env.sh

    直接在文件末尾添加,内容示例如下:

export JAVA_HOME=/home/software/jdk1.8
export SCALA_HOME=/home/software/scala2.11
export HADOOP_HOME=/home/software/hadoop-2.7.1
export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop

2.spark-defaults.conf

    此文件在目录下也没有,也需要复制模版文件,更名然后编辑,命令如下:

cp spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf

    直接在文件末尾添加内容,配置示例如下:

spark.yarn.jars=hdfs://spark01:9000/spark_jars/*

    此处hdfs的地址需要是active状态的节点。

3.slaves

    此文件在conf目录下也没有,同样需要赋值模版文件,更名然后编辑,命令如下:

cp slaves.template slaves
vim slaves

    同样在文件末尾直接添加配置内容即可,配置示例如下:

spark04
spark05
spark06

3、上传jar包

    在HDFS上,创建一个目录,用来存放spark的依赖jar包。此目录是spark-defaults.conf目录中配置的目录名称,命令如下:

hadoop fs -mkdir /spark_jars

    进入spark安装目录的jars目录,执行:

hadoop fs -put ./* /spark_jars

    至此,完成Spark-Yarn的配置。

    注意:如果是用虚拟机搭建,可能会由于虚拟机内存过小而导致启动失败,比如内存资源过小,yarn会直接kill掉进程导致rpc连接失败。所以,我们还需要配置Hadoop的yarn-site.xml文件,加入如下两项配置:

    yarn-site.xml配置示例:

<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>

    此项在生产环境不需要配置。

4、启动

1.启动spark shell

    启动spark shell,进入Spark安装目录的bin目录,执行如下命令:

sh spark-shell --master yarn-client

2.测试

    可以通过yarn控制台来验证。

    至于spark的使用,和之前都是一样的。只不过资源的分配和管理是交给yarn来控制了。

五、重启集群

    往往在测试的时候,需要重新启动集群服务,在重新启动的时候,就不需要第一次配置时那么麻烦,可以按照如下步骤进行重启集群服务。

1、启动zookeeper集群

    在Zookeeper安装目录的bin目录下执行:

sh zkServer.sh start

    此命令同样需要在所有的Zookeeper节点服务器上执行。

2、启动Hadoop集群

1.启动HDFS

    进入hadoop安装目录的sbin目录,执行如下命令:

start-dfs.sh

    此命令会将HDFS相关的所有节点都启动,不需要切换服务器来进行单独启动HDFS相关的节点进程。

2.启动Yarn

1>spark01服务器

    在spark01服务器上启动主Resourcemanager节点,执行如下命令:

start-yarn.sh

    启动成功后,spark04、spark05、spark06服务器上的nodemanager 也会跟随启动。

2>spark03服务器

    在spark03服务器上启动副 Resoucemanager节点,执行如下命令:

yarn-daemon.sh start resourcemanager

3、启动spark shell

    启动spark shell,进入Spark安装目录的bin目录,执行如下命令:

sh spark-shell --master yarn-client

    这样启动,比第一次配置的完成启动简单了很多。

上一篇:Spark简介及完全分布式安装

下一篇:Spark框架核心概念

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏闵开慧

hadoop配置文件

(1)配置$HADOOP_HOME/conf/hadoop-env.sh 切换到Hadoop的安装路径找到hadoop-0.20.2下的conf...

2926
来自专栏专注研发

HDFS基础配置

执行步骤:(1)配置集群(2)启动、测试集群增、删、查(3)执行wordcount案例

1753
来自专栏LanceToBigData

Hadoop(二)搭建伪分布式集群

前言   前面只是大概介绍了一下Hadoop,现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享,先要看一下效果吧! 一...

4077
来自专栏云原生架构实践

Yarn 安装 on centos7

9251
来自专栏简单聊聊Spark

Spark内核分析之Spark的HA源码分析

        Spark作业运行的集群环境有两种,分别基于standalone模式和Yarn集群模式。我们知道Yarn集群提供了HA来保证了集群的高可用,而s...

1212
来自专栏Hadoop实操

如何在CDSW上创建Git工程并提交代码

1403
来自专栏about云

Cloudera Manager Server5及Cloudera Manager Agents5命令整理(about云)

问题导读 1.使用什么命令可以开启、停止、重启Cloudera Manager Server 2.如何强制重启Agents 3.什么情况下适合强制重启Agen...

3477
来自专栏伦少的博客

centos7 hadoop 集群安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/

4193
来自专栏云原生架构实践

JHipster开发环境安装

如果需要在Mac OS X,Windows上安装,或者Docker安装方式,请参考官网的安装文档:www.jhipster.tech/installation

5022
来自专栏个人分享

Hadoop常用命令

HDFS基本命令: hadoop fs -cmd cmd: 具体的操作,基本上与UNIX的命令行相同 args:参数 HDFS资源URI格式: scheme:/...

1212

扫码关注云+社区

领取腾讯云代金券