如何在CM中使用Parcel包部署Livy及验证

1.文档编写目的


在前面的文章《如何打包Livy和Zeppelin的Parcel包》Fayson介绍了使用脚本打包Livy和Zeppelin的Parcel包,本篇文章Fayson主要介绍在CM中使用Livy的Parcel包部署服务及验证。

  • 测试环境

1.CM5.15.0和CDH版本5.14.2

2.Livy0.5.0

3.集群未启用Kerberos

2.环境准备


在前面已经打包好Livy的parcel包及csd文件,接下来需要将parcel包部署到本地的httpd服务并在CM上安装Livy的csd文件。

1.在cdh05节点的/var/www/html目录下创建livy0.5.0目录,将前面打包好的parcel和manifest.json文件拷贝至该目录下

[root@cdh05 ~]# mkdir -p /var/www/html/livy0.5.0
[root@cdh05 ~]# mv /data/disk1/livy_zeppelin_cdh_csd_parcels/LIVY-0.5.0_build/* /var/www/html/livy0.5.0/
[root@cdh05 ~]# ll /var/www/html/livy0.5.0/

(可左右滑动)

2.浏览器访问是否部署成功

3.将生成的csd文件,安装至cloudera-manager-server服务所在节点的/opt/cloudera/csd目录下

[root@cdh01 ~]# cd /opt/cloudera/csd/
[root@cdh01 csd]# scp -r cdh05.fayson.com:/data/disk1/livy_zeppelin_cdh_csd_parcels/LIVY-0.5.0.jar .

(可左右滑动)

安装好csd文件后,在命令行执行命令重启cloudera-scm-server服务

[root@cdh01 csd]# systemctl restart cloudera-scm-server

(可左右滑动)

如上完成了Livy服务安装部署的准备工作,接下来登录CM进行安装。

3.CM部署Livy


1.使用管理员CM的管理台,进入Parcel库地址配置界面

保存更改,配置成功显示如下:

2.点击下载、分配并激活Livy的Parcel

3.回到CM主页,点击菜单“添加服务”

在服务安装界面选择Livy服务

4.点击“继续”,选择Livy依赖的服务

5.点击“继续”,进行Livy服务角色分配

6.点击“继续”,修改Livy服务的数据目录

7.点击“继续”,部署并启动服务

8.点击“继续”,完成Livy服务部署

Livy服务启动成功

4.服务验证


在前面的文章《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》和《如何通过Livy的RESTful API接口向Kerberos环境的CDH集群提交作业》Fayson也介绍了Livy的简单使用,这里为了验证服务通过Parcel部署正常,使用之前的代码进行测试

1.运行代码创建一个交互式会话

2.访问Livy的8998界面查看

会话创建成功,生成了一个Spark的作业,界面可以看到对应的Application Id

3.通过Livy创建的交互式会话执行代码

可以看到代码执行成功

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-09-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏linux运维学习

linux学习第三十八篇: Apache和PHP结合,Apache默认虚拟主机

ctrl+r 可以通过输入相关命令查找你使用过的命令 Apache和PHP结合 httpd主配置文件: /usr/local/apache2.4/conf/...

2208
来自专栏csxiaoyao

启用mac自带Apache & 虚拟主机配置

42013
来自专栏电光石火

apache域名绑定(appserv环境)

假定你的服务器网站根目录下有两个子目录,一个为 /appserv/www/web01,另一个为 /appserv/www/web02 。现在你想访问 www.w...

3095
来自专栏我的博客

Kibana配置详解

server.port: 5601 #端口 server.host: "127.0.0.1" #设置后台服务器主机 server.basePath: "" ...

2975
来自专栏云计算教程系列

如何在Ubuntu 14.04上安装Elasticsearch 1.7,Logstash 1.5和Kibana 4.1(ELK Stack)

在本教程中,我们将在Ubuntu 14.04上重新安装Elasticsearch ELK Stack,即Elasticsearch 1.7.3,Logstash...

1150
来自专栏云计算教程系列

如何在CentOS 7上安装Elasticsearch 1.7,Logstash 1.5和Kibana 4.1(ELK Stack)

在本教程中,我们将介绍在CentOS 7上安装Elasticsearch ELK Stack,即Elasticsearch 1.7.3,Logstash 1.5...

2301
来自专栏PHP在线

apache服务器配置

昨天弄了个PHP小程序,想在本地跑一下测试,可是工作电脑没有安装环境,于是下载了一个wamp,一路畅通,Apache、Mysql、PHP就 全有了。启动wamp...

61315
来自专栏云计算教程系列

如何在CentOS 7上安装Elasticsearch,Logstash和Kibana

在本教程中,我们将介绍在CentOS 7上安装Elasticsearch ELK Stack,即Elasticsearch 2.2.x,Logstash 2.2...

1932
来自专栏PHP在线

apache服务器配置

昨天弄了个PHP小程序,想在本地跑一下测试,可是工作电脑没有安装环境,于是下载了一个wamp,一路畅通,Apache、Mysql、PHP就 全有了。启动wamp...

3826
来自专栏电光石火

apache域名绑定(appserv环境)

假定你的服务器网站根目录下有两个子目录,一个为 /appserv/www/web01,另一个为 /appserv/www/web02 。现在你想访问 www...

4065

扫码关注云+社区

领取腾讯云代金券