JupyterHub与OpenLDAP集成

1.文档编写目的


Fayson在前面文章《如何在非安全的CDH集群中部署Jupyter并集成Spark2》及《如何在非安全的CDH集群中部署多用户JupyterHub服务并集成Spark2》中介绍了Jupyter与JupyterHub的部署与Spark2集成。JupyterHub的用户默认是基于OS系统用户,对于用户的管理和维护都需要在服务器上进行操作不便于管理。本篇文章Fayson主要介绍在JupyterHub中如何与OpenLDAP服务集成。

  • 测试环境

1.CM5.15.0和CDH版本5.14.2

2.JupyterHub版本为0.9.2

3.Python版本为3.6.5

  • 前置条件

1.JupyterHub已部署成功

2.JupyterHub与OpenLDAP集成


在JupyterHub中默认只支持操作系统PAM默认的认证方式,如果需要JupyterHub支持OpenLDAP认证,则需要安装OpenLDAP认证的插件,插件地址:https://github.com/jupyterhub/ldapauthenticator

1.在Python3环境中安装jupyterhub-ldapauthenticator包,命令如下:

[root@cdh03 ~]# /opt/cloudera/anaconda3/bin/pip install jupyterhub-ldapauthenticator

(可左右滑动)

安装完成后验证是否安装成功

[root@cdh03 ~]# /opt/cloudera/anaconda3/bin/pip show jupyterhub-ldapauthenticator

(可左右滑动)

2.修改/etc/jupyterhub/jupyterhub_config.py文件,增加OpenLDAP配置,在文件默认增加内容如下:

#指定JupyterHub认证类型
c.JupyterHub.authenticator_class = 'ldapauthenticator.LDAPAuthenticator'
#OpenLDAP服务地址
c.LDAPAuthenticator.server_address = 'ldap://cdh01.fayson.com'
#访问用户和组的DN
c.LDAPAuthenticator.bind_dn_template = [
    "uid={username},ou=People,dc=fayson,dc=com",
    "uid={username},ou=Group,dc=fayson,dc=com"
]

(可左右滑动)

3.启动Jupyterhub服务

[root@cdh03 jupyterhub]# /opt/cloudera/anaconda3/bin/jupyterhub -f /etc/jupyterhub/jupyterhub_config.py --debug

(可左右滑动)

如上显示启动成功,在启动命令后添加--debug参数可以显示DEBUG日志,-f指定JupyterHub启动加载的配置文件。

3.集成验证


1.在OpenLDAP上创建一个testldap测试用户

2.在浏览器输入http://cdh03.fayson.com:8000访问JupyterHub,使用testldap用户登录

登录成功

打开一个Notebook,并运行一段测试的pyspark代码

查看Yarn上的作业

4.总结


1.JupyterHub与OpenLDAP集成需要安装jupyterhub-ldapauthenticator插件。

2.可以通过配置Group限制访问JupyterHub的用户组,更多配置可参考GitHub:https://github.com/jupyterhub/ldapauthenticator

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-09-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java成神之路

hadoop_学习_02_Hadoop环境搭建(单机)

官方版本:http://archive.apache.org/dist/hadoop/

842
来自专栏hadoop学习笔记

最新详细hadoop集群操作系统安装教程

虚拟机以及Linux系统安装在之前的两篇分享中已经详细的介绍了方法,并且每一步的都配图了。如果有朋友还是看不懂,那我也爱莫能助了。本篇主要就hadoop服务器操...

1452
来自专栏互扯程序

玩转linux 这些命令就够了

现在是资源共享的时代,同样也是知识分享的时代,如果你觉得本文能学到知识,请把知识与别人分享。

1812
来自专栏积累沉淀

安转hbase集群----安装Zookeeper和Hbase

1.zookeeper安装 把解压文件从桌面移到安装目录software ? 解压 ? 显示文件 ? 修改zoo.cfg文件 ? 我的丛机就是主机 ...

2286
来自专栏Albert陈凯

P01_Spark开发测试运行环境安装Spark开发测试运行环境安装

Spark开发测试运行环境安装 VirtualBox下载地址 https://www.virtualbox.org/wiki/Downloads ? imag...

3747
来自专栏大数据和云计算技术

Yarn【label-based scheduling】实战总结(一)

1.1 Label-based scheduling介绍 故名思议,Label based scheduling是一种调度策略,就像priority-based...

5865
来自专栏我是攻城师

SparkStreamingj集成Kafka的几个重要参数

3937
来自专栏Fish

使用cuda-gdb调试cu程序

简要教程 仿佛对于.cu程序的调试是需要关闭x的,所以学习了一下如何用cuda-gdb在tty下调试.cu程序. 1. 对于.cu文件是需要编译好才能调试...

3376
来自专栏待你如初见

Zookeeper与Solr 概述 部署 Solr Cloud

4125
来自专栏乐沙弥的世界

ulimit: open files: cannot modify limit: Operation not permitted

      在从root用户切换到oracle用户时,碰到了ulimit: open files: cannot modify limit: Operation...

5392

扫码关注云+社区

领取腾讯云代金券