如何在Kerberos环境的CDH集群部署Livy

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在前面的文章Fayson介绍了《Livy,基于Apache Spark的开源REST服务,加入Cloudera Labs》、《如何编译Livy并在非Kerberos环境的CDH集群中安装》和《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》,本篇文章主要介绍如何在Kerberos环境的CDH集群中部署Livy服务。

  • 内容概述

1.部署Livy服务

2.修改Livy及Hadoop配置

3.Livy服务启停

4.总结

  • 测试环境

1.CM和CDH版本为5.14.0

2.Livy版本为0.4

  • 前置条件

1.集群已启用Kerberos

2.部署Livy


1.将编译好的Livy包上传至CDH集群的节点

[root@ip-172-31-30-69 cloudera]# scp livy.tar.gz ip-172-31-21-83.ap-southeast-1.compute.internal:/opt/cloudera/

(可左右滑动)

2.将livy.tar.gz包解压到/opt/cloudera目录

[root@ip-172-31-21-83 cloudera]# cd /opt/cloudera/
[root@ip-172-31-21-83 cloudera]# tar -zxvf livy.tar.gz

(可左右滑动)

3.在部署节点添加livy用户

[root@ip-172-31-21-83 cloudera]# useradd livy -g hadoop
[root@ip-172-31-21-83 cloudera]# id livy

(可左右滑动)

4.将livy部署目录的属主修改为livy

[root@ip-172-31-21-83 cloudera]# chown -R livy:hadoop livy
[root@ip-172-31-21-83 cloudera]# ll livy

(可左右滑动)

5.创建livy的log目录及run目录

[root@ip-172-31-21-83 cloudera]# mkdir /var/log/livy
[root@ip-172-31-21-83 cloudera]# mkdir /var/run/livy
[root@ip-172-31-21-83 cloudera]# chown livy:hadoop /var/log/livy
[root@ip-172-31-21-83 cloudera]# chown livy:hadoop /var/run/livy

(可左右滑动)

6.根据livy配置文件模板创建配置文件

[root@ip-172-31-21-83 conf]# scp livy-env.sh.template livy-env.sh
[root@ip-172-31-21-83 conf]# scp spark-blacklist.conf.template spark-blacklist.conf
[root@ip-172-31-21-83 conf]# scp livy.conf.template livy.conf
[root@ip-172-31-21-83 conf]# chown livy:hadoop livy.conf livy-env.sh spark-blacklist.conf

(可左右滑动)

3.Livy配置


1.在KDC节点创建livy的Kerberos信息

kadmin.local -q "addprinc -randkey livy/ip-172-31-21-83.ap-southeast-1.compute.internal@FAYSON.COM"
kadmin.local -q "addprinc -randkey HTTP/ip-172-31-21-83.ap-southeast-1.compute.internal@FAYSON.COM"
kadmin.local -q "xst -k /root/livy.service.keytab livy/ip-172-31-21-83.ap-southeast-1.compute.internal@FAYSON.COM"
kadmin.local -q "xst -k /root/spnego.service.keytab HTTP/ip-172-31-21-83.ap-southeast-1.compute.internal@FAYSON.COM"

(可左右滑动)

将生成的keytab文件拷贝至livy部署服务器的/etc/security/keytabs目录下

[root@ip-172-31-16-68 ~]# scp livy.service.keytab spnego.service.keytab ip-172-31-21-83.ap-southeast-1.compute.internal:/etc/security/keytabs/

(可左右滑动)

2.修改文件属主为livy:hadoop

[root@ip-172-31-21-83 keytabs]# cd /etc/security/keytabs/
[root@ip-172-31-21-83 keytabs]# chown livy:hadoop livy.service.keytab 
[root@ip-172-31-21-83 keytabs]# chown livy:hadoop spnego.service.keytab 
[root@ip-172-31-21-83 keytabs]# ll

(可左右滑动)

3.修改livy.conf配置文件,在文件末尾增加如下内容

livy.spark.master = yarn
livy.spark.deployMode = cluster
livy.environment = production
livy.impersonation.enabled = true
livy.server.csrf_protection.enabled true
livy.server.port = 8998
livy.server.session.timeout = 3600000
livy.server.recovery.mode = recovery
livy.server.recovery.state-store=filesystem
livy.server.recovery.state-store.url=/tmp/livy
livy.server.auth.type = kerberos
livy.server.auth.kerberos.keytab = /etc/security/keytabs/spnego.service.keytab
livy.server.auth.kerberos.principal = HTTP/ip-172-31-21-83.ap-southeast-1.compute.internal
livy.server.launch.kerberos.keytab = /etc/security/keytabs/livy.service.keytab
livy.server.launch.kerberos.principal = livy/ip-172-31-21-83.ap-southeast-1.compute.internal

(可左右滑动)

a)配置Spark作业提交模式

b)配置livy启用模拟用户提交作业

c)配置livy恢复模式(默认为空、支持FileSystem本地文件系统及HDFS文件系统、Zookeeper)

d)配置启用Kerberos认证并配置keytab

4.修改livy-env.sh配置文件,增加Haoop和Spark的配置信息,内容如下:

export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export SPARK_CONF_DIR=/etc/spark/conf
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
export LIVY_LOG_DIR=/var/log/livy
export LIVY_PID_DIR=/var/run/livy
export LIVY_SERVER_JAVA_OPTS="-Xmx2g"

(可左右滑动)

配置HADOOP、SPARK、JAVA等环境变量。

5.修改spark-blacklist.conf内容如下:

[root@ip-172-31-21-83 conf]# vim spark-blacklist.conf
#
# Configuration override / blacklist. Defines a list of properties that users are not allowed
# to override when starting Spark sessions.
#
# This file takes a list of property names (one per line). Empty lines and lines starting with "#"
# are ignored.
#
# Disallow overriding the master and the deploy mode.
spark.master
spark.submit.deployMode
# Disallow overriding the location of Spark cached jars.
spark.yarn.jar
spark.yarn.jars
spark.yarn.archive
# Don't allow users to override the RSC timeout.
livy.rsc.server.idle-timeout

(可左右滑动)

4.修改Hadoop配置


1.登录CM进入HDFS服务的配置项

2.在“core-site.xml 的群集范围高级配置代码段(安全阀)”配置项增加如下内容

<property>
    <name>hadoop.proxyuser.livy.groups</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.livy.hosts</name>
    <value>*</value>
</property>

(可左右滑动)

3.在HDFS上创建livy的home目录

[root@ip-172-31-21-83 keytabs]# kinit -kt livy.service.keytab livy/ip-172-31-21-83.ap-southeast-1.com
[root@ip-172-31-21-83 keytabs]# hadoop fs -mkdir /user/livy
[root@ip-172-31-21-83 keytabs]# hadoop fs -ls /user

(可左右滑动)

回到CM主页根据提示重启相应服务,到此就完成Livy的部署及CDH的集成。

5.Livy服务启停


1.启动Livy服务

[root@ip-172-31-21-83 ~]# sudo -u livy /opt/cloudera/livy/bin/livy-server start

(可左右滑动)

2.停止Livy服务

[root@ip-172-31-21-83 ~]# sudo -u livy /opt/cloudera/livy/bin/livy-server stop

(可左右滑动)

由于集群启用了Kerberos,所以这里需要浏览器访问Kerberos的HTTP做配置,可以参考Fayson前面的文章《Windows Kerberos客户端配置并访问CDH》。

6.总结

  • Livy部署服务器必须安装Kerberos客户端及部署CDH集群GateWay角色及,具体可以参考《如何给Kerberos环境下的CDH集群添加Gateway节点》
  • Livy服务集成Kerberos需要在部署节点创建livy和HTTP的principal并确保livy用户有访问keytab的权限

提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-02-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何在Kerberos环境下的CDH集群部署Spark2.1的Thrift及spark-sql客户端

4334
来自专栏Hadoop实操

如何在Kerberos的CDH使用Sentry实现Spark SQL的权限控制

5652
来自专栏分布式系统和大数据处理

安装和配置Spark(单节点)

Apache Spark被称为第三代大数据处理平台,也当前应用最广泛的大数据处理方案,这篇文章将介绍如何在Linux系统(Cent OS7)上以单机模式(Sta...

6895
来自专栏Hadoop实操

如何通过Tableau连接Kerberos的Hive/Impala

昨天Fayson写了一篇《如何安装Tableau并连接CDH的Hive/Impala》,后台关注人数当天增加了40人,有点大大超过Fayson的预期,首先还是谢...

2.1K11
来自专栏Hadoop实操

如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业

在CDH集群外的节点向集群提交Spark作业的方式有多种,前面Fayson介绍了Livy相关的文章主要描述如何在集群外节点通过RESTful API接口向CDH...

3447
来自专栏Hadoop实操

如何安装Tableau并连接CDH的Hive/Impala

Tableau是桌面系统中的商业智能工具软件,可以基于不同的数据源生成漂亮的图表。Cloudera与Tableau是互相认证的合作伙伴,在Tableau的数据源...

9059
来自专栏Hadoop实操

Python3环境通过JDBC访问非Kerberos环境的Hive

在前面Fayson介绍了在Python2的环境下《如何使用Python Impyla客户端连接Hive和Impala》,本篇文章Fayson主要介绍在Pytho...

2261
来自专栏Hadoop实操

如何在CDH中使用HPLSQL实现存储过程

目前版本的Hive中没有提供类似存储过程的功能,使用Hive做数据应用开发时候,一般有以下两种方法:

1.5K7
来自专栏牛肉圆粉不加葱

YARN资源调度器

1566
来自专栏Hadoop实操

如何在Kerberos环境下的CDH集群部署Spark1.6 Thrift及spark-sql客户端

2413

扫码关注云+社区

领取腾讯云代金券