Kafka linux(centos7)安装配置kerberos并在另一台机器上使用Java服务接收消息

heasy3

发布于 2020-08-03 09:15:07

1.2K0

发布于 2020-08-03 09:15:07

文章被收录于专栏：用户7614879的专栏用户7614879的专栏

项目需要将kafka配上kerberos，从来没接触过，靠着一堆教程勉强跑通

先说下网络环境，kafka服务器的IP为192.168.100.83 下文记做Linux 跑Java服务的IP为192.168.62.116 下文记做mac

首先要将两个机器的hosts互相添加主机名

在不添加主机名的情况下没有成功这步还是很重要的

linux的： hadoop03是跟着教程起的名字无特殊含义指向本机并添加mac的主机名

[root@localhost kafka_2.12-2.4.0]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.83   hadoop03
192.168.62.116 mac

mac的：主要是添加了linux的主机名

$ cat /etc/hosts
##
# Host Database
#
# localhost is used to configure the loopback interface
# when the system is booting.  Do not change this entry.
##
127.0.0.1	localhost
255.255.255.255	broadcasthost
::1             localhost
192.168.100.83	hadoop03

配置Linux的kerberos

kerberos的身份认证包含三部分名字/主机名@域名 这里我把域名配置为了HADOOP.COM

#安装服务 
[root]#  yum install krb5-server krb5-workstation krb5-libs
#安装完成后会生成该配置文件
#编辑配置文件
[root~]# vim /etc/krb5.conf
# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/

[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 #需要修改的地方
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
 #需要修改的地方
 default_realm = HADOOP.COM
 default_ccache_name = KEYRING:persistent:%{uid}
 #需要修改的地方
[realms]
 HADOOP.COM = {
  kdc = hadoop03
  admin_server = hadoop03
}
 #需要修改的地方
[domain_realm]
 .hadoop.com = HADOOP.COM
 hadoop.com = HADOOP.COM

然后创建数据库期间需要输入两次密码不要忘记

[root]# kdb5_util create -s

Loading random data
Initializing database '/var/kerberos/krb5kdc/principal' for realm 'HADOOP.COM',
master key name 'K/M@HADOOP.COM'
You will be prompted for the database Master Password.
It is important that you NOT FORGET this password.
Enter KDC database master key:  <==输入一次密码
Re-enter KDC database master key to verify:  <==再输入一次


#执行后可以看看是否有这些文件生成
[root]# ll /var/kerberos/krb5kdc/
-rw-------. 1 root root   22  4月 29  2017 kadm5.acl
-rw-------. 1 root root  451  4月 29  2017 kdc.conf
-rw-------. 1 root root 8192 11月 27 12:04 principal
-rw-------. 1 root root 8192 11月 27 12:04 principal.kadm5
-rw-------. 1 root root    0 11月 27 12:04 principal.kadm5.lock
-rw-------. 1 root root    0 11月 27 12:04 principal.ok

添加一个管理员修改如下文件

[root@kdc ~]# vim /var/kerberos/krb5kdc/kadm5.acl
*/admin@HADOOP.COM      *

其实就只有将原本的 EXAMPLE.COM 改成我们的 kerberos 领域而已。另外想要管理 KDC 的资料库有两种方式，一种直接在 KDC 本机上面直接执行，可以不需要密码就登入资料库管理；一种则是需要输入帐密才能管理

这两种管理方式分别是：

kadmin.local：需要在 KDC server 上面运作，无须密码即可管理资料库 kadmin：可以在任何一台 KDC 领域的系统上面运作，但是需要输入管理员密码

我们想要让 KDC 用户端也能够『使用 root 身份来登入 KDC 资料库的管理』，这个身份在 KDC 裡面被称为『 root/admin 』

在 KDC server 上面使用 kadmin.local 来执行底下的指令，以建立好相关的帐号

[root@kdc ~]# kadmin.local
Authenticating as principal root/admin@HADOOP.COM with password.
kadmin.local:  ?  # 可以使用 ? 来了解所有的指令用途
Available kadmin.local requests:

add_principal, addprinc, ank
                         Add principal
delete_principal, delprinc
                         Delete principal
modify_principal, modprinc
                         Modify principal
rename_principal, renprinc
                         Rename principal
change_password, cpw     Change password
get_principal, getprinc  Get principal
list_principals, listprincs, get_principals, getprincs
                         List principals
....(其他省略)....

kadmin.local:  addprinc root/admin
WARNING: no policy specified for root/admin@HADOOP.COM; defaulting to no policy
Enter password for principal "root/admin@HADOOP.COM":   <==输入管理员密码
Re-enter password for principal "root/admin@HADOOP.COM":  <==再输入一次
Principal "root/admin@HADOOP.COM" created.

kadmin.local:  listprincs
K/M@HADOOP.COM
kadmin/admin@HADOOP.COM
kadmin/changepw@HADOOP.COM
kadmin/@HADOOP.COM
kiprop/hadoop03@HADOOP.COM
krbtgt/HADOOP.COM@HADOOP.COM
root/admin@HADOOP.COM  <==这就是管理员的功能设定！

kadmin.local:  exit

配置完成后启动服务并测试是否启动成功

[root@kdc ~]# systemctl start kadmin krb5kdc
[root@kdc ~]# systemctl enable kadmin krb5kdc

#测试命令

[root@kdc ~]# kadmin
Authenticating as principal root/admin@BOOK.VBIRD with password.
Password for root/admin@HADOOP.COM:  <==需要输入密码
kadmin:  listprincs  <==随便使用一个命令测试一下
K/M@HADOOP.COM
kadmin/admin@HADOOP.COM
kadmin/changepw@HADOOP.COM
kadmin/hadoop03@HADOOP.COM
kiprop/hadoop03@HADOOP.COM
krbtgt/HADOOP.COM@HADOOP.COM
root/admin@HADOOP.COM
kadmin:  exit

账户配置

需要两个账户一个用来启动kafka 一个用来给mac使用

首先进入kafka的目录假定以下操作均在kafka目录下

kadmin.local -q 'addprinc -randkey kafka/hadoop03@HADOOP.COM'

kadmin.local -q "xst -k kafka.keytab -norandkey kafka/hadoop03"

kadmin.local -q 'addprinc -randkey mac/mac@HADOOP.COM'

kadmin.local -q "xst -k kafka_mac.keytab -norandkey mac/mac"

之后会在当前目录下生成两个keytab文件分别对应两个账户

Kafka配置

修改kafka的配置文件

vim config/server.properties



//修改这一句 这里我尝试过使用IP而不是hostname 可以启动但是mac连不上

listeners=SASL_PLAINTEXT://hadoop03:9092

//新增以下

authorizer.class.name = kafka.security.auth.SimpleAclAuthorizer

security.inter.broker.protocol=SASL_PLAINTEXT

sasl.mechanism.inter.broker.protocol=GSSAPI

sasl.enabled.mechanisms=GSSAPI

//上面账户是kafka/**@***什么什么的 这里就需要写kafka
sasl.kerberos.service.name=kafka

super.users=User:kafka

新建一个jaas文件具体干嘛的我也不清楚只知道需要连接就要一个jaas.conf 和一个keytab

touch ./config/kafka_server_jaas.conf
vim ./config/kafka_server_jaas.conf

#文件内容如下
#由于zookeeper使用的是内置的 没有进行加密操作 也就没有配置zk的

KafkaServer {
            com.sun.security.auth.module.Krb5LoginModule required
            useKeyTab=true
            storeKey=true
            #指定为上述生成的keytab
            keyTab="kafka.keytab"
            #这里对应上面的用户
            principal="kafka/hadoop03@HADOOP.COM";
        };

KafkaClient {
        com.sun.security.auth.module.Krb5LoginModule required
        useKeyTab=true
        storeKey=true
        #指定为上述生成的keytab
        keyTab="kafka.keytab"
        #这里对应上面的用户
        principal="kafka/hadoop03@HADOOP.COM"
        useTicketCache=true;
};

修改kafka的启动脚本

#修改bin目录下kafka-run-class.sh，

vim bin/kafka-run-class.sh

#在exec $JAVA 后面增加kerberos启动参数,然后就可以用正常的脚本启动服务jaas的路径记得修改

-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/opt/kafka/config/kafka_server_jaas.conf

启动kafka后为了方便命令行操作分别在config/consumer.properties config/producer.properties 中添加

security.protocol=SASL_PLAINTEXT sasl.mechanism=GSSAPI sasl.kerberos.service.name=kafka

这样命令行就可以直接通过校验了

在命令行进行测试：

#创建topic
bin/kafka-topics.sh --zookeeper hadoop03:2181 --create --topic test_topic --partitions 1 --replication-factor 1

#启动生产者

bin/kafka-console-producer.sh --topic test_topic --broker-list hadoop03:9092 --producer.config config/producer.properties

#在另一个窗口启动消费者
bin/kafka-console-consumer.sh --bootstrap-server hadoop03:9092 --topic test_topic --consumer.config config/consumer.properties

Java端的调用

首先需要拷贝一份linux中的/etc/krb5.conf 与 kafka_mac.keytab 到mac中

System.setProperty("java.security.auth.login.config","/Users/abc/data/kafka_client_jaas.conf");        
System.setProperty("java.security.krb5.conf","/Users/abc/data/krb5.conf");
#debug开关        
System.setProperty("sun.security.krb5.debug", "true");        

Properties props = new Properties();        
#这里如果写IP 会报错 只有和kafka配置文件中写的一样才行 不知道为什么        props.put("bootstrap.servers", "hadoop03:9092");        
props.put("group.id", "kafka_read");        
props.put("enable.auto.commit", "true");       
props.put("auto.commit.interval.ms", "1000");

#需要额外添加的配置
props.put("sasl.mechanism","GSSAPI");
props.put("sasl.kerberos.service.name","kafka");
props.put("security.protocol","SASL_PLAINTEXT");

props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
Set<String> set = new HashSet<>();
set.add("test_topic");
consumer.subscribe(set);

其中kafka_client_jaas.conf 是mac创建的，内容为：

// Kafka client authentication
KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/Users/abc/data/kafka_mac.keytab"
    principal="mac/mac@HADOOP.COM";
};

可以看出 mac与linux两台机器具有相同的krb5.conf文件在mac中 jaas文件中的keytab 指向了对应身份生成的keytab 且principal值也要是对应的值在linux中的kafka中 jaas情况相同

然后启动消费者并使其无限循环打印输出但是又一个问题来了控制台报错：GroupAuthorizationException: Not authorized to access group 又是一顿百度最后的解决办法为：

执行kafka脚本：分别为mac与匿名用户添加权限

bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --allow-principal User:mac --consumer --topic=* --group=* --add

bin/kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 --allow-principal User:ANONYMOUS --consumer --topic=* --group=* --add

经过一下午的折腾终于能收到消息了太不容易了

授权生产权限的命令为：

./kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181/kafka --allow-principal User:ANONYMOUS --producer --topic=* --add