离线数仓之Kerberos基本使用及问题记录

离线数仓之Kerberos基本使用及问题记录

• 0. 写在前面
• 1. Kerberos基本使用
  • 0. 启动Kerberos相关服务
  • 1. 安全模式下启动Hadoop集群
• 2. 安装Kerberos客户端访问HDFS页面
  • 0. Windows下安装MIT Kerberos Ticket Manager
  • 1. 使用「MIT Kerberos Ticket Manager」
  • 2. 配置火狐浏览器
  • 3. 认证
• 3. Web端依旧没有权限访问文件及报错解决
• 4. Hive Kerberos认证使用之DataGrip客户端
  • 0. 前置芝士
  • 1. 新建driver
  • 2. 配置Driver
  • 3. 新建连接
  • 4. 配置连接
  • 5. 编写JAAS（Java认证授权服务）配置文件
  • 6. 为用户生成keytab文件，在krb5kdc所在节点（node01）执行以下命令
  • 7. 传输atguigu.keytab文件
  • 8. 测试连接失败

0. 写在前面

• Kerberos环境：已搭建好Kerberos并配置完成
• 执行用户：root
• Linux：CentOS7.5
• Hadoop：Hadoop3.1.3
• Hive：Hive3.1.2
• Krberos：Kerberos5

❝集群规划： ❞

• node01：NN、DN、historyserver、Hive、Kerberos服务端、Kerberos客户端
• node02：NM、RM、Kerberos客户端
• node03：DN、2NN、Kerberos客户端

1. Kerberos基本使用

0. 启动Kerberos相关服务

在主节点（node01）启动KDC，并配置开机自启

[root@node01 ~]# systemctl start krb5kdc
[root@node01 ~]# systemctl enable krb5kdc

1. 安全模式下启动Hadoop集群

❝启动HDFS ❞

# 启动NameNode
[root@root ~]# sudo -i -u hdfs hdfs --daemon start namenode
# 启动DataNode
[root@node01 ~]# sudo -i -u hdfs hdfs --daemon start datanode
[root@node01 ~]# sudo -i -u hdfs hdfs --daemon start datanode
[root@node01 ~]# sudo -i -u hdfs hdfs --daemon start datanode
# 启动SecondaryNameNode
[root@node01 ~]# sudo -i -u hdfs hdfs --daemon start secondarynamenode

❝启动Yarn ❞

# 启动ResourceManager
[root@node02 ~]# sudo -i -u yarn yarn --daemon start resourcemanager
# 启动NodeManager
[root@node01 ~]# sudo -i -u yarn yarn --daemon start nodemanager
[root@node02 ~]# sudo -i -u yarn yarn --daemon start nodemanager
[root@node03 ~]# sudo -i -u yarn yarn --daemon start nodemanager

❝启动HistoryServer ❞

# 启动历史服务器
[root@node01 ~]# sudo -i -u mapred mapred --daemon start historyserver

2. 安装Kerberos客户端访问HDFS页面

0. Windows下安装MIT Kerberos Ticket Manager

一路next即可，安装后会提醒是否立即重启电脑

❝有遇到过没有提醒直接重启电脑的，为了保险起见，建议安装之前先将集群的各个服务停止，关闭虚拟机 ❞

1. 使用「MIT Kerberos Ticket Manager」

• 编辑C:\ProgramData\MIT\Kerberos5\krb5.ini文件

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 forwardable = true
 rdns = false
 default_realm = EXAMPLE.COM

[realms]
 EXAMPLE.COM = {
  kdc = node01
  admin_server = node01
 }

[domain_realm]

2. 配置火狐浏览器

• 在地址栏输入“about:config”,直接Enter，选择接受风险并继续

• 直接搜索“network.negotiate-auth.trusted-uris”，修改值为要访问的主机名（node01）

• 搜索“network.auth.use-sspi”，双击将值变为false

• 重启火狐浏览器

3. 认证

• 启动Kerberos客户端，点击Get Ticket，输入主体名Principal以及密码Password
• 火狐浏览器访问：

https://node01:9871/

• 选择browse the file system，输入主体名Principal以及密码Password，即可访问文件

3. Web端依旧没有权限访问文件及报错解决

火狐浏览器输入主体名及密码，出现以下错误:

❝Ticket initialization failed. Kerberos 5: client not found in Kerberos database(error:1765328378) ❞

我查找了很久，还是没有找到这个错误的解决方法。因为我的配置是没有问题的，所以猜想会不会是浏览器的问题，没想到，重启火狐浏览器，再次访问HDFS真的就可以有权限访问文件了

❝重启万岁 ❞

4. Hive Kerberos认证使之DataGrip客户端

0. 前置芝士

❝因为Apache Hive使用的驱动是原生自带的Hive驱动，但是这个自带的Hive驱动不支持Kerberos认证。所以连接不上之前数仓分层时在DataGrip创建的Hive数据源。 ❞

1. 新建driver

2. 配置Driver

3. 新建连接

4. 配置连接

• 基础配置

jdbc:hive2://node01:10000/;principal=hive/node01@EXAMPLE.COM

• 高级配置

• 配置参数：

-Djava.security.krb5.conf="C:\\ProgramData\\MIT\\Kerberos5\\krb5.ini"
-Djava.security.auth.login.config="C:\\ProgramData\\MIT\\Kerberos5\\atguigu.conf"
-Djavax.security.auth.useSubjectCredsOnly=false

5. 编写JAAS（Java认证授权服务）配置文件

com.sun.security.jgss.initiate{
      com.sun.security.auth.module.Krb5LoginModule required
      useKeyTab=true
      useTicketCache=false
      keyTab="C:\\ProgramData\\MIT\\Kerberos5\\atguigu.keytab"
      principal="atguigu@EXAMPLE.COM";
};

6. 为用户生成keytab文件，在krb5kdc所在节点（node01）执行以下命令

[root@hadooop102]# kadmin.local -q"xst -norandkey -k /home/atguigu/atguigu.keytab atguigu"

7. 传输atguigu.keytab文件

将上一步生成的atguigu.keytab文件，置于Windows中的特定路径，该路径须与5中的keyTab属性的值保持一致。

❝XFTP传输atguigu.keytab若不成功，将其chmod 777 ❞

8. 测试连接失败

• 报错信息

• 原因分析

jdbc:hive2://node01:10000/;principal=hive/node01@EXAMPLE.COM最后多了一个空格或者直接删掉DataGrip中的url，重新复制上文中的「4. 配置连接」的url

❝顺利完成 ❞