前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何通过Cloudera Manager为Kafka启用Kerberos及使用

如何通过Cloudera Manager为Kafka启用Kerberos及使用

作者头像
Fayson
修改2018-04-01 19:22:56
3.1K0
修改2018-04-01 19:22:56
举报
文章被收录于专栏:Hadoop实操

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.文档编写目的


在CDH集群中启用了Kerberos认证,那么我们的Kafka集群能否与Kerberos认证服务集成呢?本篇文章主要讲述如何通过Cloudera Manager为Kafka集群启用Kerberos认证及客户端配置使用。

  • 内容概述

1.修改Kafka配置

2.配置客户端

3.客户端测试Producer和Consumer

  • 测试环境

1.RedHat7.2

2.CM和CDH版本为5.11.2

3.采用sudo权限的ec2-user用户

4.Kafka2.2.0

  • 前置条件

1.Kafka2.0.x或更高版本

2.Cloudera Manager5.5.3或更高版本

3.Kafka集群安装且正常运行

4.集群已启用Kerberos认证

5.Kafka未与Sentry集成

2.修改Kafka配置


1.登录Cloudera Manager进入Kafka服务,修改ssl.client.auth配置为none

2.Kafka启用Kerberos

3.修改security.inter.broker.protocol配置为SASL_PLAINTEXT

4.保存以上修改的配置后,回到主页根据提示重启Kafka Server

完成以上配置就可以为Kafka集群启用Kerberos认证。

3.配置客户端


1.创建jaas.conf文件

如果你先使用kinit初始化Kerberos账号,则jaas.conf配置文件内容如下:

KafkaClient{

com.sun.security.auth.module.Krb5LoginModule required

useTicketCache=true;

};

如果使用keytab文件初始化Kerberos账号,则jaas-keytab.conf配置文件内容如下:

root@ip-172-31-21-45ec2-user# vim jaas-keytab.conf

KafkaClient{

com.sun.security.auth.module.Krb5LoginModule required

useKeyTab=true

keyTab="/home/ec2-user/fayson.keytab"

principal="fayson@CLOUDERA.COM";

};

2.创建client.properties文件,内容如下

root@ip-172-31-21-45ec2-user# vim client.properties

security.protocol=SASL_PLAINTEXT

sasl.kerberos.service.name=kafka

4.客户端测试Producer和Consumer


1.设置KAFKA_OPTS环境变量

root@ip-172-31-21-45ec2-user# export KAFKA_OPTS="-Djava.security.auth.login.config=/home/ec2-user/jaas.conf"

或者

root@ip-172-31-21-45ec2-user# export KAFKA_OPTS="-Djava.security.auth.login.config=/home/ec2-user/jaas-keytab.conf"

如果使用jaas.conf文件设置环境变量则需要先使用kinit初始化Kerberos账号。

2.运行Kafka的Producer

root@ip-172-31-21-45ec2-user# kafka-console-producer--broker-list 172.31.21.45:9092 --topic test3 --producer.config client.properties

...

hello

world

3.运行Kafka的Consumer

root@ip-172-31-26-80ec2-user# export KAFKA_OPTS="-Djava.security.auth.login.config=/home/ec2-user/jaas.conf"

root@ip-172-31-26-80ec2-user# kafka-console-consumer--topic test3 --from-beginning --bootstrap-server 172.31.26.102:9092,172.31.21.45:9092,172.31.26.80:9092 --consumer.config client.properties

...

hello

world

5.总结


Kafka与CDH集群中的其它组件集成Kerberos稍有不同,需要做一些额外的配置。本篇文章主要讲述了如何启用Kerberos身份认证及客户配置使用,那么在代码开发中如何向已启用Kerberos认证的Kafka集群中生产和消费数据,Fayson在接下来的文章会做详细讲述。

参考文档:

https://www.cloudera.com/documentation/kafka/latest/topics/kafka_security.html#concept_lcn_4mm_s5

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花! 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-10-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档