0854-7.1.6-如何在安全的CDP集群中安装SMM并使用
0854-7.1.6-如何在安全的CDP集群中安装SMM并使用
1.文档编写目的
本篇文章主要介绍如何在CDP7.1.6集群中配置SMM（Streams Messaging Manager）服务。它为Kafka集群提供了一个监控仪表板。在CDH6中安装该服务需要部署parcel包和安装节点软件包管理器，而在CDP7中则不需要上述操作，能够直接在CM界面中进行添加服务操作。
- 文档概述 1. 如何在CDP7集群配置SMM服务 2. 验证 3. 总结
- 测试环境 1. 操作系统Redhat7.2 2. CM7.3.1和CDP7.1.6 3. 使用root用户操作 4. 集群已集成Kerberos和Ranger 5. 集群已安装Kafka服务
2.安装前置准备
CM的Service Monitor服务与Kafka集成 1. 进入CM的管理配置界面
2.搜索Kafka配置并进行集成
3.调整Service monitor heap大小
因为在启用SM监控Kafka后，会有大量的监控数据需要分析，SM对Heap的使用会增大，因此需要调整该参数增大。
4.重启过时服务
5.过时服务重启完成
3.创建SMM数据库
1.进入MySQL服务
[root@cdh1 ~]# mysql -uroot -p
2.执行如下SQL创建对应数据库
drop user streamsmsgmgr;
create database streamsmsgmgr default character set utf8;
CREATE USER 'streamsmsgmgr'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON streamsmsgmgr. * TO 'streamsmsgmgr'@'%';
FLUSH PRIVILEGES;
4.安装SMM服务
1.进入CM界面选择添加服务
2.分配角色，选择安装节点
3.配置数据库连接并测试
4.等待服务启动
5.服务启动完成
至此SMM服务安装完成，接下来在客户端访问WEB界面，确认服务是否正常监控Kafka服务。
5.访问DAS认证配置
5.1kerberos认证方式
1.在Kerberos官网下载安装包，地址如下
http://web.mit.edu/kerberos/dist/
2.根据系统选择了64位安装包，按照步骤进行安装
选择Typical
3.配置C:\ProgramData\MIT\Kerberos5\krb5.int文件
4.将节点中/etc/krb5.conf配置文件中的部分内容拷贝到该文件中
[libdefaults]
dns_lookup_realm = false
ticket_lifetime = h
renew_lifetime = d
forwardable = true
rdns = false
pkinit_anchors = /etc/pki/tls/certs/ca-bundle.crt
default_realm = MACRO.COM
# default_ccache_name = KEYRING:persistent:%{uid}
[realms]
MACRO.COM = {
kdc = cdh1.macro.com
admin_server = cdh1.macro.com
kdc = cdh2.macro.com
admin_server = cdh2.macro.com
}
[domain_realm]
.cdh1.macro.com = MACRO.COM
cdh1.macro.com = MACRO.COM
5.在KDC server创建一个用户
[root@cdh1 ~]# kadmin.local
kadmin.local: addprinc test_krb
6.进入Windows下更改hosts
C:\Windows\System32\drivers\etc
7.启动MIT客户端，连接Get Ticket
8.销毁获取的Ticket
9.进入系统环境变量中，如果也安装了oracle JDK，就需要将PATH中的MIT的位置上移
10.命令行下初始化之后，在MIT客户端就可以看到初始化成功的Ticket
11.命令行下执行kdestroy，MIT客户端也就没有了
12.在KDC server上生成keytab文件，使用测试账号
[root@cdh1 ~]# kadmin.local
kadmin.local: xst -norandkey -k test_krb1.keytab test_krb1@MACRO.COM
13.测试keytab文件
[root@cdh1 ~]# kadmin.local
kadmin.local: xst -norandkey -k test_krb1.keytab test_krb1@MACRO.COM
14.将生成的keytab文件拷贝到本地Windows，进行测试，并在客户端查看
5.2 配置浏览器Kerberos认证
打开火狐浏览器，在地址输入about:config,修改配置
network.negotiate-auth.trusted-uris = cdh1.macro.com,cdh2.macro.com,cdh3.macro.com
network.auth.use-sspi = false
5.3 访问SMM Web UI
1.在KDC Server上生成Keytab文件，使用对应账号进行测试
[root@cdh1 ~]# kadmin.local
kadmin.local: xst -norandkey -k streamsmsgmgr.keytab streamsmsgmgr@MACRO.COM
2.将keytab文件拷贝到Windows目录下，进行kinit操作，并看到MIT终端有了Ticket
3.重启过时服务后就可以正常访问SMM的Web UI
4.访问SMM Rest Swagger UI
6.总结
1.Kafka的监控指标主要是通过Cloudera的Service Monitor服务来采集，因此需要配置与Kafka服务的集成。 2.CDP集群启用了Kerberos，用户通过浏览器访问SMM的WEB界面时，需要在客户端安装kerberos客户并配置浏览器与Kerberos集成。