Spark on YARN 部署实验

    以前的Spark部署都是使用的standalone方式，集群中的每台机器都安装部署Spark，然后启动Master和Worker进程运行Spark。今天尝试一下Spark on YARN的部署方式。 一、实验目的 1. 只在一台机器上安装Spark，基于已有的Hadoop集群，使用YARN调度资源。 2. 不启动Master和Worker进程提交Spark作业。 3. 通过YARN的WebUI查看Spark作业的执行情况。 二、实验环境： 4台CentOS release 6.4虚拟机，IP地址为 192.168.56.101 192.168.56.102 192.168.56.103 192.168.56.104 192.168.56.101是Hadoop集群的主，运行NameNode和ResourceManager进程。 192.168.56.102、192.168.56.103是Hadoop的从，运行DataNode和NodeManager进程。 192.168.56.104安装Pentaho的PDI，安装目录为/home/grid/data-integration。 Hadoop版本：2.7.2 Spark版本：1.5.0 PDI版本：6.0 Hadoop集群的安装配置参考 http://blog.csdn.net/wzy0623/article/details/50681554 三、安装Spark 只在192.168.56.101一台机器上上安装Spark，具体安装步骤参考 http://blog.csdn.net/wzy0623/article/details/50946766 四、配置步骤 1. 启动Hadoop集群 # 启动hdfs /home/grid/hadoop-2.7.2/sbin/start-dfs.sh # 启动yarn /home/grid/hadoop-2.7.2/sbin/start-yarn.sh 2. 将spark自带的与Hadoop集成的jar包上传到hdfs hadoop fs -put /home/grid/spark/lib/spark-assembly-1.5.0-hadoop2.6.0.jar /user/ 3. 编辑spark-defaults.conf文件，添加如下一行 spark.yarn.jar=hdfs://master:9000/user/spark-assembly-1.5.0-hadoop2.6.0.jar 修改后的spark-defaults.conf文件如图1所示

图1 五、测试 1. 运行spark的示例run-example，提交到yarn cd $SPARK_HOME/bin cp run-example run-example2 # 需要将EXAMPLE_MASTER设置成yarn vi run-example2 EXAMPLE_MASTER="yarn" # 执行示例 ./run-example2 org.apache.spark.examples.SparkPi 2 执行结果如图2所示

图2

2. Kettle提交Spark作业到yarn

以下是本实验相关的步骤，关于PDI提交Spark作业的配置参考http://blog.csdn.net/wzy0623/article/details/51097471 # 将yarn和spark配置文件拷贝到客户端机器 scp /home/grid/hadoop/etc/hadoop/yarn-site.xml 192.168.56.104:/home/grid/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/cdh54/ scp /home/grid/spark/conf/spark-defaults.conf 192.168.56.104:/home/grid/spark/conf/ 修改PDI的Spark例子 cp /home/grid/data-integration/samples/jobs/Spark\ Submit/Spark\ submit.kjb /home/grid/data-integration/test/Spark\ Submit\ Sample.kjb 在Kettle中打开/home/grid/data-integration/test/Spark\ Submit\ Sample.kjb文件，编辑Spark Submit Sample作业项，填写如图3所示的信息

图3 执行Spark Submit Sample作业，结果如图4所示

图4 3. 在yarn的WebUI查看作业的运行情况

http://192.168.56.101:8088/

正在执行的spark作业如图5所示

图5 点击“ApplicationMaster”，进入Spark作业页面，如图6所示

图6 作业执行完，应用历史页面如图7所示

图7

4. 执行SparkSQL 关于用beeline连接SparkSQL的相关配置，参考http://blog.csdn.net/wzy0623/article/details/50999197 # 启动mysql，用于存储hive的元数据 mysqld & # 启动hive元数据存储服务 hive --service metastore > /tmp/grid/hive_metastore.log 2>&1 & # 启动spark thriftserver服务 $SPARK_HOME/sbin/start-thriftserver.sh --master yarn 此时在yarn的WebUI查看应用的运行情况，如图8所示

图8 # 登入beeline $SPARK_HOME/bin/beeline -u jdbc:hive2://192.168.56.101:10001/ 执行SparkSQL查询： use test; select * from session_test; select count(*) from session_test; 此时在yarn的WebUI查看Spark作业的运行情况，如图9所示

图9

参考：

http://blog.csdn.net/xiao_jun_0820/article/details/46561097