如何在CM中使用Parcel包部署Livy及验证

1.文档编写目的

在前面的文章《如何打包Livy和Zeppelin的Parcel包》Fayson介绍了使用脚本打包Livy和Zeppelin的Parcel包，本篇文章Fayson主要介绍在CM中使用Livy的Parcel包部署服务及验证。

• 测试环境

1.CM5.15.0和CDH版本5.14.2

2.Livy0.5.0

3.集群未启用Kerberos

2.环境准备

在前面已经打包好Livy的parcel包及csd文件，接下来需要将parcel包部署到本地的httpd服务并在CM上安装Livy的csd文件。

1.在cdh05节点的/var/www/html目录下创建livy0.5.0目录，将前面打包好的parcel和manifest.json文件拷贝至该目录下

[root@cdh05 ~]# mkdir -p /var/www/html/livy0.5.0
[root@cdh05 ~]# mv /data/disk1/livy_zeppelin_cdh_csd_parcels/LIVY-0.5.0_build/* /var/www/html/livy0.5.0/
[root@cdh05 ~]# ll /var/www/html/livy0.5.0/

（可左右滑动）

2.浏览器访问是否部署成功

3.将生成的csd文件，安装至cloudera-manager-server服务所在节点的/opt/cloudera/csd目录下

[root@cdh01 ~]# cd /opt/cloudera/csd/
[root@cdh01 csd]# scp -r cdh05.fayson.com:/data/disk1/livy_zeppelin_cdh_csd_parcels/LIVY-0.5.0.jar .

（可左右滑动）

安装好csd文件后，在命令行执行命令重启cloudera-scm-server服务

[root@cdh01 csd]# systemctl restart cloudera-scm-server

（可左右滑动）

如上完成了Livy服务安装部署的准备工作，接下来登录CM进行安装。

3.CM部署Livy

1.使用管理员CM的管理台，进入Parcel库地址配置界面

保存更改，配置成功显示如下：

2.点击下载、分配并激活Livy的Parcel

3.回到CM主页，点击菜单“添加服务”

在服务安装界面选择Livy服务

4.点击“继续”，选择Livy依赖的服务

5.点击“继续”，进行Livy服务角色分配

6.点击“继续”，修改Livy服务的数据目录

7.点击“继续”，部署并启动服务

8.点击“继续”，完成Livy服务部署

Livy服务启动成功

4.服务验证

在前面的文章《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》和《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业》Fayson也介绍了Livy的简单使用，这里为了验证服务通过Parcel部署正常，使用之前的代码进行测试

1.运行代码创建一个交互式会话

2.访问Livy的8998界面查看

会话创建成功，生成了一个Spark的作业，界面可以看到对应的Application Id

3.通过Livy创建的交互式会话执行代码

可以看到代码执行成功