前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >0623-6.2.0-如何在CDH中安装CFM

0623-6.2.0-如何在CDH中安装CFM

作者头像
Fayson
发布2019-05-15 10:30:46
2.4K0
发布2019-05-15 10:30:46
举报
文章被收录于专栏:Hadoop实操

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1

文档编写目的

2019年4月15日,Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management,即CFM和CEM。Flow Management和Edge Management以前都是隶属于HDP的相关产品,Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用,包括使用Cloudera Manager进行简易的Parcel安装和服务监控。HDP和CDH合并后,对于CDH的客户也一直期待HDP的一些优秀特性能早点融合到CDH中,CEM和CFM就是一次开始,它们为IOT场景的边缘管理和边缘数据搜集带来了可能。具体参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》。

本文Fayson主要介绍如何在CDH6.2中安装CFM,CFM中的核心组件就是Apache NiFi,对于NiFi的介绍可以参考前面的文章《0622-什么是Apache NiFi》。

  • 测试环境

1.Redhat7.4

2.采用root用户操作

3.集群未启用Kerberos

4.CM/CDH6.2

5.CFM1.0

6.NiFi1.9

2

CFM安装前置

2.1

系统需求

1.JDK8 - 如果你的集群已经配置为JDK8,你可以跳过该步骤。否则你需要在安装CFM前先安装JDK8。本文的环境为CDH6.2,默认只支持JDK8,所以跳过。

2.Zookeeper – CDH集群需要添加Zookeeper并且保证可用。

3.CFM支持的CM和CDH版本为6.x或者5.5.6以上。本文假设你已经安装好了一个CDH集群,如果没有,请先准备相应的CDH集群。

4.Parcel的安装方式需要将CFM安装到由Cloudera Manager管理的一台主机上,所以你在进行本文后面的操作时,需要先加入一台机器到CDH集群中,可以参考《0072-CDH安装前置准备》和《0089-如何给CDH集群增加Gateway节点》。本文直接安装到Cloudera Manager节点,所以跳过。

2.2

Cloudera服务支持

  • 表1:数据存储
  • 表2:数据移动和处理
  • 表3:存储格式
  • 表4:企业服务

3

部署CFM Parcel包

1.下载CFM的Parcel,下载地址如下

代码语言:javascript
复制
http://archive.cloudera.com/CFM/parcels/1.0.0.0/manifest.json
http://archive.cloudera.com/CFM/parcels/1.0.0.0/CFM-1.0.0.0-el7.parcel
http://archive.cloudera.com/CFM/parcels/1.0.0.0/CFM-1.0.0.0-el7.parcel.sha1

2.将下载的文件部署在Apache所在服务器的/var/www/html/cfm目录下

代码语言:javascript
复制
[root@ip-172-31-6-83 ~]# cd /var/www/html/cfm
[root@ip-172-31-6-83 cfm]# ll
total 1694724
-rw-r--r-- 1 root root 1735385749 Mar 30 07:19 CFM-1.0.0.0-el7.parcel
-rw-r--r-- 1 root root         41 Apr 20 01:05 CFM-1.0.0.0-el7.parcel.sha
-rw-r--r-- 1 root root       3132 Mar 30 07:20 manifest.json
[root@ip-172-31-6-83 cfm]#

3.通过浏览器测试是否部署成功

看到以上界面说明部署成功。

4

安装CSD文件

1.下载CSD文件,使CM支持CFM安装,文件下载地址:

代码语言:javascript
复制
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFI-1.9.0.1.0.0.0-90.jar
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFICA-1.9.0.1.0.0.0-90.jar
http://archive.cloudera.com/CFM/csd/1.0.0.0/NIFIREGISTRY-0.3.0.1.0.0.0-90.jar

2.将下载好的三个jar文件放在CM所在服务器的/opt/cloudera/csd目录下

代码语言:javascript
复制
[root@ip-172-31-6-83 cfm]# cd /opt/cloudera/csd
[root@ip-172-31-6-83 csd]# chown cloudera-scm:cloudera-scm NIFI*.jar
[root@ip-172-31-6-83 csd]# chmod 644 NIFI*.jar
[root@ip-172-31-6-83 csd]# ll
total 68
-rw-r--r-- 1 cloudera-scm cloudera-scm 29897 Mar 30 07:19 NIFI-1.9.0.1.0.0.0-90.jar
-rw-r--r-- 1 cloudera-scm cloudera-scm  9320 Mar 30 07:19 NIFICA-1.9.0.1.0.0.0-90.jar
-rw-r--r-- 1 cloudera-scm cloudera-scm 23145 Mar 30 07:19 NIFIREGISTRY-0.3.0.1.0.0.0-90.jar
[root@ip-172-31-6-83 csd]#

3. 重启cloudera-scm-server服务

代码语言:javascript
复制
[root@ip-172-31-6-83 csd]# systemctl restart cloudera-scm-server
[root@ip-172-31-6-83 csd]# systemctl status cloudera-scm-server
● cloudera-scm-server.service - Cloudera CM Server Service
   Loaded: loaded (/usr/lib/systemd/system/cloudera-scm-server.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2019-05-07 11:48:43 CST; 39s ago
 Main PID: 11137 (java)
   CGroup: /system.slice/cloudera-scm-server.service
           └─11137 /usr/java/jdk1.8.0_181-cloudera/bin/java -cp .:/usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:lib/* -server -Dlog4j.configuration...

May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: cloudera-scm-server.service: main process exited, code=exited, status=143/n/a
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Unit cloudera-scm-server.service entered failed state.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: cloudera-scm-server.service failed.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Started Cloudera CM Server Service.
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal systemd[1]: Starting Cloudera CM Server Service...
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
May 07 11:48:43 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0
May 07 11:48:45 ip-172-31-6-83.ap-southeast-1.compute.internal cm-server[11137]: ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the console. Set system prope...tion logging.
Hint: Some lines were ellipsized, use -l to show in full.
[root@ip-172-31-6-83 csd]#

5

配置CFM的Parcle库

1.配置Parcel库

2.下载、分配并激活

3.完成激活

6

安装CFM服务

6.1

安装NiFi Toolkit CA

Apache NiFi Certificate Authority服务为Apache NiFi和Apache NiFi Registry提供证书授权服务。

1.进入CM主页,选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“NiFi CA Service”,点击“继续”

3.选择NiFi Toolkit和Gateway节点,根据实际情况选择,Fayson这里选择的是使用CM节点,点击“继续”。

4.输入NiFi CA Token,点击“继续”

注意:token必须16个字符或以上。

5.首次运行NiFi CA,点击“继续”

6.完成NiFi CA服务的安装

点击完成退出。

6.2

安装NiFi Registry

Apache NiFi Registry是一个补充应用程序,为一个或多个NiFi和/或MiNiFi实例的共享资源的存储和管理提供了一个中心位置。

1.进入CM主页,选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“NiFi Registry”,点击“继续”

3.选择NiFi Registry节点,根据实际情况选择,可以选择多个,Fayson这里选择的是使用CM节点,点击“继续”。

4.保持默认配置,不做修改,点击“继续”

5.首次运行NiFi Registry,点击“继续”

6.完成NiFi Registry服务的安装

点击完成退出。

6.3

安装NiFi

Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统。Apache NiFi 是为数据流设计,它支持高度可配置的指示图的数据路由、转换和系统中介逻辑,支持从多种数据源动态拉取数据。简单地说,NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流。 基于WEB图形界面,通过拖拽、连接、配置完成基于流程的编程,实现数据采集、处理等功能。

1.进入CM主页,选择集群点击“添加服务”

2.进入添加服务引导界面, 选择“NiFi”,点击“继续”

3.选择NiFi的依赖服务,这里我们选择全集包括NiFi CA和Zookeeper,尤其是对于NiFi集群需要使用到Zookeeper,点击“继续”。

4.选择NiFi节点,根据实际情况选择,可以选择多个,Fayson这里选择的是使用CM节点,点击“继续”。

5.保持默认配置,不做修改,点击“继续”

6.首次运行NiFi Registry,点击“继续”

7.完成NiFi Registry服务的安装

点击完成退出。

6.4

重启Cloudera Management Service

1.重启CMS,否则CM无法监控新增的三个服务包括NiFi Toolkit CA,NiFi Registry和NiFi的状态,会显示为灰色问号。

重启完毕。

2.回到CM主页查看3个NiFi相关服务运行正常。

7

登录NiFi的Web页面

使用http://<NiFi_HostName>:8080/nifi登录到NiFi画面:

至此,CFM安装成功。

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-05-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Hadoop实操 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
专用宿主机
专用宿主机(CVM Dedicated Host,CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档