0623-6.2.0-如何在CDH中安装CFM
温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github： https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢
1
文档编写目的
2019年4月15日，Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management，即CFM和CEM。Flow Management和Edge Management以前都是隶属于HDP的相关产品，Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用，包括使用Cloudera Manager进行简易的Parcel安装和服务监控。HDP和CDH合并后，对于CDH的客户也一直期待HDP的一些优秀特性能早点融合到CDH中，CEM和CFM就是一次开始，它们为IOT场景的边缘管理和边缘数据搜集带来了可能。具体参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》。
本文Fayson主要介绍如何在CDH6.2中安装CFM，CFM中的核心组件就是Apache NiFi，对于NiFi的介绍可以参考前面的文章《0622-什么是Apache NiFi》。
- 测试环境
1.Redhat7.4
2.采用root用户操作
3.集群未启用Kerberos
4.CM/CDH6.2
5.CFM1.0
6.NiFi1.9
2
CFM安装前置
2.1
系统需求
1.JDK8 - 如果你的集群已经配置为JDK8，你可以跳过该步骤。否则你需要在安装CFM前先安装JDK8。本文的环境为CDH6.2，默认只支持JDK8，所以跳过。
2.Zookeeper – CDH集群需要添加Zookeeper并且保证可用。
3.CFM支持的CM和CDH版本为6.x或者5.5.6以上。本文假设你已经安装好了一个CDH集群，如果没有，请先准备相应的CDH集群。
4.Parcel的安装方式需要将CFM安装到由Cloudera Manager管理的一台主机上，所以你在进行本文后面的操作时，需要先加入一台机器到CDH集群中，可以参考《0072-CDH安装前置准备》和《0089-如何给CDH集群增加Gateway节点》。本文直接安装到Cloudera Manager节点，所以跳过。
2.2
Cloudera服务支持
- 表1：数据存储
- 表2：数据移动和处理
- 表3：存储格式
- 表4：企业服务
3
部署CFM Parcel包
1.下载CFM的Parcel，下载地址如下
http://archive.cloudera.com/CFM/parcels/1.0.0.0/manifest.json
http://archive.cloudera.com/CFM/parcels/1.0.0.0/CFM-1.0.0.0-el7.parcel
http://archive.cloudera.com/CFM/parcels/1.0.0.0/CFM-1.0.0.0-el7.parcel.sha12.将下载的文件部署在Apache所在服务器的/var/www/html/cfm目录下
[root@ip-172-31-6-83 ~]# cd /var/www/html/cfm
[root@ip-172-31-6-83 cfm]# ll
total 1694724
-rw-r--r-- 1 root root 1735385749 Mar 30 07:19 CFM-1.0.0.0-el7.parcel
-rw-r--r-- 1 root root 41 Apr 20 01:05 CFM-1.0.0.0-el7.parcel.sha
-rw-r--r-- 1 root root 3132 Mar 30 07:20 manifest.json
[root@ip-172-31-6-83 cfm]#
3.通过浏览器测试是否部署成功
看到以上界面说明部署成功。
4
安装CSD文件
1.下载CSD文件，使CM支持CFM安装，文件下载地址:
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFI-1.9.0.1.0.0.0-90.jar
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFICA-1.9.0.1.0.0.0-90.jar
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFIREGISTRY-0.3.0.1.0.0.0-90.jar2.将下载好的三个jar文件放在CM所在服务器的/opt/cloudera/csd目录下
[root@ip-172-31-6-83 cfm]# cd /opt/cloudera/csd
[root@ip-172-31-6-83 csd]# chown cloudera-scm:cloudera-scm NIFI*.jar
[root@ip-172-31-6-83 csd]# chmod 644 NIFI*.jar
[root@ip-172-31-6-83 csd]# ll
total 68
-rw-r--r-- 1 cloudera-scm cloudera-scm 29897 Mar 30 07:19 NIFI-1.9.0.1.0.0.0-90.jar
-rw-r--r-- 1 cloudera-scm cloudera-scm 9320 Mar 30 07:19 NIFICA-1.9.0.1.0.0.0-90.jar
-rw-r--r-- 1 cloudera-scm cloudera-scm 23145 Mar 30 07:19 NIFIREGISTRY-0.3.0.1.0.0.0-90.jar
[root@ip-172-31-6-83 csd]#
3. 重启cloudera-scm-server服务
[root@ip-172-31-6-83 csd]# systemctl restart cloudera-scm-server
[root@ip-172-31-6-83 csd]# systemctl status cloudera-scm-server
● cloudera-scm-server.service - Cloudera CM Server Service
Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2019-05-07 11:48:43 CST; 39s ago
Main PID: 11137 (java)
CGroup: /system.slice/cloudera-scm-server.service
└─11137 /usr/java/jdk1.8.0_181-cloudera/bin/java -cp .:/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:lib/* -server -Dlog4j.configuration...
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: cloudera-scm-server.service: main process exited, code=exited, status=143/n/a
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Unit cloudera-scm-server.service entered failed state.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: cloudera-scm-server.service failed.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Started Cloudera CM Server Service.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Starting Cloudera CM Server Service...
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
May 07 11:48:45 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system prope...tion logging.
Hint: Some lines were ellipsized, use -l to show in full.
[root@ip-172-31-6-83 csd]#
5
配置CFM的Parcle库
1.配置Parcel库
2.下载、分配并激活
3.完成激活
6
安装CFM服务
6.1
安装NiFi Toolkit CA
Apache NiFi Certificate Authority服务为Apache NiFi和Apache NiFi Registry提供证书授权服务。
1.进入CM主页，选择集群点击“添加服务”
2.进入添加服务引导界面, 选择“NiFi CA Service”,点击“继续”
3.选择NiFi Toolkit和Gateway节点，根据实际情况选择，Fayson这里选择的是使用CM节点，点击“继续”。
4.输入NiFi CA Token，点击“继续”
注意：token必须16个字符或以上。
5.首次运行NiFi CA，点击“继续”
6.完成NiFi CA服务的安装
点击完成退出。
6.2
安装NiFi Registry
Apache NiFi Registry是一个补充应用程序，为一个或多个NiFi和/或MiNiFi实例的共享资源的存储和管理提供了一个中心位置。
1.进入CM主页，选择集群点击“添加服务”
2.进入添加服务引导界面, 选择“NiFi Registry”,点击“继续”
3.选择NiFi Registry节点，根据实际情况选择，可以选择多个，Fayson这里选择的是使用CM节点，点击“继续”。
4.保持默认配置，不做修改，点击“继续”
5.首次运行NiFi Registry，点击“继续”
6.完成NiFi Registry服务的安装
点击完成退出。
6.3
安装NiFi
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。简单地说，NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流。 基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能。
1.进入CM主页，选择集群点击“添加服务”
2.进入添加服务引导界面, 选择“NiFi”,点击“继续”
3.选择NiFi的依赖服务，这里我们选择全集包括NiFi CA和Zookeeper，尤其是对于NiFi集群需要使用到Zookeeper，点击“继续”。
4.选择NiFi节点，根据实际情况选择，可以选择多个，Fayson这里选择的是使用CM节点，点击“继续”。
5.保持默认配置，不做修改，点击“继续”
6.首次运行NiFi Registry，点击“继续”
7.完成NiFi Registry服务的安装
点击完成退出。
6.4
重启Cloudera Management Service
1.重启CMS，否则CM无法监控新增的三个服务包括NiFi Toolkit CA，NiFi Registry和NiFi的状态，会显示为灰色问号。
重启完毕。
2.回到CM主页查看3个NiFi相关服务运行正常。
7
登录NiFi的Web页面
使用http://<NiFi_HostName>:8080/nifi登录到NiFi画面：
至此，CFM安装成功。
提示：代码块部分可以左右滑动查看噢
为天地立心，为生民立命，为往圣继绝学，为万世开太平。 温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
原创文章，欢迎转载，转载请注明：转载自微信公众号Hadoop实操
腾讯云开发者
