Windows Kerberos客户端配置并访问CDH

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.概述

本文档描述Windows Server2008 R2(windows的内核版本是6.1,与windows 7相同)下安装Kerberos Client及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070,Yarn的8088)的过程。安装文档主要分为以下几步:

1.在Windows Server2008 R2 64位上安装Kerberos Client。

2.在Windows下使用kinit测试。

3.通过keytab在Windows下进行kinit操作。

4.配置FireFox。

5.验证服务是否正常访问。

这篇文档将着重介绍Winodws Server R2下安装及使用Kerberos,并基于以下假设:

1.CDH环境已搭建并正常运行

2.HDFS、Yarn、HBase、Hive等组件已安装部署

3.集群已完成Kerberos的配置,并正常使用

以下是对本次测试环境,但不是本操作手册的硬限制:

1.操作系统:Redhat7.2

2.CM版本:CM5.11.1

3.CDH版本:CDH5.11.1

4.采用ec2-user对集群进行部署

2. Kerberos安装

2.1 Kerberos安装包准备

在Kerberos官网下载Kerberos安装包(http://web.mit.edu/kerberos/dist/),如下截图:

根据自己Windows操作系统下载不同的Client,32位或者64位。

2.2安装Kerberos

1.将下载下来的客户端双击打开

2.点击下一步,如下图所示

3.选择“同意”,点击下一步

4.选择“Typical”进入下一步

5.点击“install”进行安装

点击“finish”安装完成

6.配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件

将KDC Server服务器上/ect/krb5.conf文件中的部分内容,拷贝到krb5.ini文件中

注意:此处将标注部分拷贝至krb5.ini文件中,否则会导致MIT Kerberos无法正常启动,如果直接将krb5.conf文件更名为ini文件并替换krb5.ini文件会出现文件格式问题导致MIT Kerberos无法正常启动。

7.配置完成后,启动MIT Kerberos客户端,如下图所示:

3 在Window下使用kinit测试

3.1 使用密码登录Kerberos

1.KDC Server上通过admin创建一个用户

| ec2-user@ip-172-31-18-97 keytab$ sudo kadmin.localAuthenticating as principal root/admin@CLOUDERA.COM with password.kadmin.local: addprinc test@CLOUDERA.COMWARNING: no policy specified for test@CLOUDERA.COM; defaulting to no policyEnter password for principal "test@CLOUDERA.COM": Re-enter password for principal "test@CLOUDERA.COM": Principal "test@CLOUDERA.COM" created. |

|:----|

测试正常

2.在Winodw端,通过MIT Kerberos客户Get Ticket

在如下列表中可以看到获取到的Ticket

3.销毁获取到的Ticket

选中列表中需要销毁的Ticket,点击Destroy Ticket

4.命令行下初始化

在客户端可以看到初始化成功的Ticket

5.命令行下kdestroy

客户端数据已destroy

3.2 使用Keytab文件登录Kerberos

1.在KDC Server创建一个ketab文件,使用上一步创建的test@CLOUDERA.COM

| ec2-user@ip-172-31-18-97 keytab$ sudo kadmin.localAuthenticating as principal root/admin@CLOUDERA.COM with password.kadmin.local: xst -norandkey -k test.keytab test@CLOUDERA.COMkadmin.local: Principal test.keytab does not exist.Entry for principal test@CLOUDERA.COM with kvno 1, encryption type aes256-cts-hmac-sha1-96 added to keytab WRFILE:-k.Entry for principal test@CLOUDERA.COM with kvno 1, encryption type aes128-cts-hmac-sha1-96 added to keytab WRFILE:-k.Entry for principal test@CLOUDERA.COM with kvno 1, encryption type des3-cbc-sha1 added to keytab WRFILE:-k.Entry for principal test@CLOUDERA.COM with kvno 1, encryption type arcfour-hmac added to keytab WRFILE:-k.Entry for principal test@CLOUDERA.COM with kvno 1, encryption type camellia256-cts-cmac added to keytab WRFILE:-k.Entry for principal test@CLOUDERA.COM with kvno 1, encryption type camellia128-cts-cmac added to keytab WRFILE:-k.Entry for principal test@CLOUDERA.COM with kvno 1, encryption type des-hmac-sha1 added to keytab WRFILE:-k.Entry for principal test@CLOUDERA.COM with kvno 1, encryption type des-cbc-md5 added to keytab WRFILE:-k. |

|:----|

注意:在生成keytab文件时需要加参数”-norandkey”否则会导致,直接使用kinit test@CLOUDERA.com初始化时会提示密码错误。

生成成功

测试test.keytab文件

注意:在非root用户下需要将生成的keytab文件,权限设置到644以上,否则会初始化失败或者使用sudo权限初始化

2.将生成的test.keytab文件拷贝到Windows Server上,在CMD命令行进行初始化

初始化成功,在MIT Kerberos客户端显示

4 FireFox浏览器访问

4.1 FireFox浏览器配置

1.打开FireFox浏览器,在地址栏输入about:config

2.修改配置参数

| network.negotiate-auth.trusted-uris = ip-172-31-18-97.ap-southeast-1.compute.internal,ip-172-31-19-209.ap-southeast-1.compute.internalnetwork.auth.use-sspi = false |

|:----|

注意:network.negotiate-auth.trusted-uris此参数主要配置需要访问服务的hostname,如果需要访问多个host则以“,”分割。

4.2 测试访问HDFS服务

1.访问HDFS的50070端口

由于此时未将hdfs的ticket初始化所以不能正常访问,提示输入principal和密码

2.在CM节点的/var/run/cloudera-scm-agent目录下选择最新的xxx-hdfs-NAMENODE目录下的hdfs.keytab文件

3.测试hdfs.keytab是否正常

通过kadmin.loca命令列出所有hdfs的身份

| root@ip-172-31-18-97 577-hdfs-NAMENODE# kadmin.localAuthenticating as principal hdfs/admin@CLOUDERA.COM with password.kadmin.local: listprincs hdfs*hdfs/ip-172-31-18-97.ap-southeast-1.compute.internal@CLOUDERA.COMhdfs/ip-172-31-19-209.ap-southeast-1.compute.internal@CLOUDERA.COMhdfs/ip-172-31-28-67.ap-southeast-1.compute.internal@CLOUDERA.COMhdfs/ip-172-31-30-214.ap-southeast-1.compute.internal@CLOUDERA.COM |

|:----|

| root@ip-172-31-18-97 577-hdfs-NAMENODE# kinit -kt hdfs.keytab hdfs/ip-172-31-18-97.ap-southeast-1.compute.internal@CLOUDERA.COMroot@ip-172-31-18-97 577-hdfs-NAMENODE# klistTicket cache: FILE:/tmp/krb5cc_0Default principal: hdfs/ip-172-31-18-97.ap-southeast-1.compute.internal@CLOUDERA.COM Valid starting Expires Service principal07/26/2017 11:23:08 07/27/2017 11:23:08 krbtgt/CLOUDERA.COM@CLOUDERA.COM renew until 07/31/2017 11:23:08 |

|:----|

注意:可以使用listprincs列出的hdfs身份进行初始化

4.将hdfs.keytab文件拷贝到Windows机器上,通过CMD命令进行初始化

5.再次通过FireFox浏览器访问HDFS服务,正常访问

6.访问Yarn资源管理服务是否能正常

查看作业详情时无法正常访问,由于该hostname信息未添加到FireFox的network.negotiate-auth.trusted-uris配置中

将该hostname添加到配置中

再次访问成功

5 keytab合并及使用

1.将需要合并的keytab文件统一的放在同一个目录下

2.使用ktutil命令合并keytab文件,操作如下

| root@ip-172-31-18-97 keytab# ktutil ktutil: rkt hbase.keytab ktutil: rkt hive.keytab ktutil: rkt hdfs.keytab ktutil: rkt yarn.keytab ktutil: wkt test-new.keytabktutil: |

|:----|

在当前目录下生成test-new.keytab文件

注意:由于生成的keytab文件权限默认为600,如果非root用户则需要使用sudo执行ktutil命令或者提升keytab权限至644以上。

3.将生成的文件拷贝至Windows机器上,使用kinit进行初始化

使用hdfs凭证进行初始化

HDFS的服务访问成功

使用hive凭证进行初始化

访问HDFS服务成功

使用hbase凭证进行初始化

访问HDFS服务成功

使用yarn凭证进行初始化

访问HDFS服务成功

通过上述测试,无论使用hdfs/yarn/hbase/hive任何身份均可正常访问HDFS服务,因此可以得出Kerberos只做身份认证,未做页面的授权。

6.常见问题

1.无法安装Kerberos,提示you must install a windows service错误

可能是由于Window版本问题,本文档选择的安装包本次不支持Windows Server2008(windows的内核版本是6.0,与windows vista相同),所以建议客户端机器选择Windows7或以上版本。

2.设置Kerberos Credential Cache File路径

配置Windows的环境变量

  • KRB5_CONFIG: Path for the kerberos inifile.()
  • KRB5CCNAME: Path for the kerberoscredential cache file.

配置完环境变量后,需要重启机器使其环境变量生效。注意默认的“KRB5CCNAME”目录是在C:\temp.

3.在windows下的krb5.ini配置错误导致MIT Kerberos不能启动

如果直接将krb5.conf文件更名为ini文件并替换krb5.ini文件会出现文件格式问题导致MIT Kerberos无法正常启动,配置信息如下:

| # Configuration snippets may be placed in this directory as well libdefaults default_realm = CLOUDERA.COM dns_lookup_realm = false ticket_lifetime = 24h renew_lifetime = 7d forwardable = true rdns = false# default_realm = EXAMPLE.COM #default_ccache_name = KEYRING:persistent:%{uid} realms# EXAMPLE.COM = {# kdc = kerberos.example.com# admin_server = kerberos.example.com# } CLOUDERA.COM = { kdc = ip-172-31-18-97.ap-southeast-1.compute.internal admin_server = ip-172-31-18-97.ap-southeast-1.compute.internal } domain_realm# .example.com = EXAMPLE.COM# example.com = EXAMPLE.COM .ip-172-31-18-97.ap-southeast-1.compute.internal = CLOUDERA.COM ip-172-31-18-97.ap-southeast-1.compute.internal = CLOUDERA.COM |

|:----|

4.在创建后凭证后,使用该凭证创建keytab文件后,kinit该凭证报密码错误

在生成keytab文件时需要加参数”-norandkey”否则会导致直接使用kinit test@CLOUDERA.com直接初始化时会提示密码错误。

5.在通过浏览器访问Hadoop服务时部分功能能正常,部分功能不正常

需要确认访问的host地址是否加入network.negotiate-auth.trusted-uris中,此参数主要配置需要访问服务的hostname,如果需要访问多个host则以“,”分割。

6.不需要合并所有Hadoop相关的服务的keytab来访问不同的页面,成功初始化一个用户比如HDFS即可。

7 参考文档

http://doc.mapr.com/display/MapR/Configuring+Kerberos+Authentication+for+Windows

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_sg_browser_access_kerberos_protected_url.html

https://community.hortonworks.com/articles/28537/user-authentication-from-windows-workstation-to-hd.html

http://web.mit.edu/kerberos/dist/index.html#kfw-4.0

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花! 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2017-08-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

大数据入门基础系列之详谈Hive的视图

在前面的博文里,我已经介绍了 问:哪个版本开始Hive开始支持视图了? 答:Hive0.6开始 可以先,从MySQL里的视图概念理解入手 视图是由从数据库的基本...

32490
来自专栏数据和云

Oracle 12.2新特性掌上手册 - 第六卷 ADG的性能与诊断

编辑手记:在Oracle 12.2中,ADG有许多惊人的改进,通过ADG standby数据库的性能数据收集和诊断、快照standby数据库的应用,以及实时的数...

40970
来自专栏ASP.NET MVC5 后台权限管理系统

ASP.NET MVC5+EF6+EasyUI 后台管理系统(999)-如何使用这个系统来开发?

前言 这篇文本讲述了这个框架的使用方式,及一些疑问的答疑,更加精准的使用这个框架来建立功能 经过几个版本的迭代,系统使用更加方便,代码更加简洁也更加的智能,...

34060
来自专栏Hadoop实操

如何将CDH中集成的RedHat7版Kerberos切换至Active Directory的Kerberos认证

在前面Fayson介绍了多篇关于Window Server上安装的Active Directory服务,由于Active Directory服务即提供了统一的用...

31850
来自专栏跟着阿笨一起玩NET

MySQL第三方客户端工具

如前所述,MySQL是一个基于客户机--服务器的DBMS,因此,为了使用MySQl,你需要有一个客户机软件给MySQL提供要执行的命令。即你需要一个编写和测试M...

1.9K10
来自专栏散尽浮华

Mysql备份系列(4)--lvm-snapshot备份mysql数据(全量+增量)操作记录

Mysql最常用的三种备份工具分别是mysqldump、Xtrabackup(innobackupex工具)、lvm-snapshot快照。 前面分别介绍了: ...

44490
来自专栏数据和云

MySQL Performance schema设置的一些建议选项

MySQL 的Performance Schema由来已久,但由于内存消耗,性能影响等原因,导致其始终无法进入主流的MySQL默认配置,对MySQL的问题诊断以...

51050
来自专栏腾讯云TStack专栏

为了解决OpenStack版本升级问题,我们放出了珍藏的美少女架构师

51220
来自专栏数据和云

高频错误:ORA-01555深入剖析

黄玮(Fuyuncat) 资深Oracle DBA,个人网站www.HelloDBA.com,致力于数据库底层技术的研究,其作品获得广大同行的高度评价. ORA...

34180
来自专栏java一日一条

理解MySQL——复制(Replication)

1、复制概述 1.1、复制解决的问题 数据复制技术有以下一些特点: (1) 数据分布 (2) 负载平衡(load balancing) (3) ...

12630

扫码关注云+社区

领取腾讯云代金券