0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用
0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用
Fayson
发布于 2022-08-26 17:49:36
发布于 2022-08-26 17:49:36
文章被收录于专栏：Hadoop实操
1.文档编写目的
在CDP集群中启用了Kerberos认证，那么Kafka集群能否与Kerberos认证服务集成呢？本文主要讲述如何通过Cloudera Manager为Kafka集群启用Kerberos认证及客户端配置使用。
- 内容概述
1.修改Kafka配置
2.配置客户端
3.客户端测试Producer和Consumer
- 测试环境
1.RedHat7.6
2.CM版本7.3.1和CDP版本7.1.4
3.采用root用户
4.Kafka2.4.1
2.修改Kafka配置
1.登录Cloudera Manager进入Kafka服务，修改ssl.client.auth配置为none
2.Kafka启用Kerberos
3.修改security.inter.broker.protocol配置为SASL_PLAINTEXT
4.保存以上修改的配置后，回到主页根据提示重启Kafka Server
完成以上配置就可以为Kafka集群启用Kerberos认证。
3.配置客户端
1.创建jaas.conf文件
如果你先使用kinit初始化Kerberos账号，则jaas.conf配置文件内容如下：
1KafkaClient {
2 com.sun.security.auth.module.Krb5LoginModule required
3 useTicketCache=true;
4};
如果使用keytab文件初始化Kerberos账号，则jaas-keytab.conf配置文件内容如下：
1KafkaClient {
2 com.sun.security.auth.module.Krb5LoginModule required
3 useKeyTab=true
4 keyTab="/root/fayson.keytab"
5 principal="fayson@MACRO.COM";
6};
2.创建client.properties文件，内容如下
1security.protocol=SASL_PLAINTEXT
2sasl.kerberos.service.name=kafka
4.客户端测试Producer和Consumer及简单使用
1.设置KAFKA_OPTS环境变量
1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"
或者
1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas-keytab.conf"
如果使用jaas.conf文件设置环境变量则需要先使用kinit初始化Kerberos账号。
2.创建Topic
1kafka-topics --create --partitions 3 --replication-factor 1 --topic test3 --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --command-config client.properties
3.查看所有Topic
1kafka-topics --list --bootstrap-server 192.168.0.55:9092 --command-config client.properties
4.查看Topic描述信息
1kafka-topics --describe --topic test3 --bootstrap-server 192.168.0.55:9092 --command-config client.properties
5.修改Topic分区数
1kafka-topics --bootstrap-server 192.168.0.55:9092 -alter --partitions 4 --topic test3 --command-config client.properties
6.运行Kafka的Producer
1kafka-console-producer --broker-list 192.168.0.55:9092 --topic test3 --producer.config client.properties
2...
3hello
4world
7.运行Kafka的Consumer
1export KAFKA_OPTS="-Djava.security.auth.login.config=/root/jaas.conf"
2kafka-console-consumer --topic tes3 --from-beginning --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --consumer.config client.properties
3...
4hello
5world
8.删除Topic
1kafka-topics --delete --topic test3 --bootstrap-server 192.168.0.55:9092,192.168.0.165:9092,192.168.0.165:9092 --command-config client.properties
删除成功
参考文档：
https://docs.cloudera.com/cdp-private-cloud-base/7.1.7/kafka-securing/topics/kafka-secure-kerberos-enable.html本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2022-08-09，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
腾讯云开发者
