本篇文章Fayson主要介绍如何通过CM来迁移Zookeeper服务。 测试环境 1.CM5.15.0和CDH版本为5.14.2 2.迁移准备 ---- 首先确认Zookeeper服务迁移的目标服务器，Fayson的测试环境说明，Zookeeper服务在cdh01、cdh02 在迁移前需要确保目标服务器已加入被Cloudera Manager管理，cdh04节点已在Fayson的集群中，这里就不在描述如何将节点加入集群了，可以参考Fayson前面的文章《如何为Kerberos 注意：重启cdh02和cdh03节点的ZK服务时一个个重启，确保ZK服务正常后，再操作下一个。 7.所有ZK服务重启完成后如下图所示 ? ZK服务的Leader正常 ? 2.ZK服务的迁移，其实就是将待迁移节点的ZK服务停止并删除，在新节点上添加一个ZK服务即可。
文章目录 大数据服务器之CM安装架构及目录 大数据服务器之CDH框架安装细节 大数据服务器之CM安装架构及目录 针对整个物流项目来说，1台虚拟机安装部署大数据环境：基于CM6.2.1安装CDH6.2.1 （CM安装CDH服务），时间5分钟以上 浏览器登录：http://node2.itcast.cn:7180/cmf/，admin/admin 将所有服务关闭：各个框架服务和CMS服务，而且CMS 服务永远给关闭 3）、测试时，需要什么服务，启动什么服务，不要全部启动（耗内存，耗性能，没有任何意义） 架构原理：CM如何安装CDH框架，原理架构是什么？？？？？ 1）、CM安装CDH集群时，架构属于主从分布式架构（Master/Slaves） 主节点（老大）：CMS（ClouderaManagerServer），在一台机器上运行 从节点（小弟）：安装服务 大数据服务器之CDH框架安装细节 当使用CM安装CDH集群以后，可以通过CM界面UI，管理整个集群服务和查看监控运行状态。
一键领取预热专享618元代金券，2核2G云服务器爆品秒杀低至18元！云产品首单低0.8折起，企业用户购买域名1元起…
二.服务器集群时间同步 之所以要做服务器集群的时间同步，我想大家应该不言而喻了吧，CM要求各个节点之间的时间不能够相差太多，为的就是保证集群的统一管理和减少不必要的错误、麻烦。 还有一个原因就是一般企业里用到的服务器是不能够连接外网的，所以第一步我们就开始做服务器集群时间同步。 1.配置时间为中国的时区 ? 2.ntp时间同步服务器安装 这里需要安装一个时间主服务器，其它节点的时间分别去同步这台时间主服务器，这样就可以统一去管理时间了，ntp刚好提供了这一功能，其它的节点按照时间间隔进行不断同步，达到时间一致的效果 六、安装Cloudera Manager 1.下载CM安装文件并且进行配置(每台服务器都要操作) 下载安装文件并上传到服务器**/opt**目录下，并解压：链接 ? 、用户名、密码、cm server服务器 登录名 登录密码 2.下载CDH文件(Server服务器操作) 下载CDH安装文件到CM的parcel包里，就可以通过parcel包进行安装CDH了
文档编写目的 在前面的文章《6.3.0-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL 您必须首先从Cloudera Manager嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器。 只有在成功从嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器后，才能迁移到外部MySQL或Oracle数据库。 查看集群CM元数据库使用的数据库服务器，如下所示，此时已迁移至MySQL cat /etc/cloudera-scm-server/db.properties ? 完成上述修改后，然后回到CM主页，根据提示重启相关服务 ? 服务重启完成后，此时数据库已迁移至MySQL数据库服务器。 ? 迁移后验证 Hue验证 查看Hue当前数据库类型为MySQL ?
内容概述 1.准备SNMP NMS告警接收服务器 2.CM配置SNMP及验证 3.CM告警的MIB文件查找 测试环境 1.CM和CDH版本为5.14.3 前置条件 1.CDH集群使用Cloudera Manager 管理 2.准备SNMP告警接收服务器 ---- 在这里Fayson选择集群的一台服务器作为集群的SNMP告警的接收服务器，需要先安装SNMP告警接收服务，用于模拟Cloudera Manager向SNMP 服务器发送告警。 配置SNMP NMS服务的主机名称及SNMPv2团体字符串，完成如上配置后，点击“保存更改”，回到CM主页根据提示重启相应服务。 ? 执行kill命令将HRegionServer服务杀掉 ? 2.在CM界面上显示HBase服务的告警信息如下 ? 3.在SNMP服务器上查看接收到的告警信息 ? ?
文档编写目的 在前面的文章《5.16.2-如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的PostgreSQL 您必须首先从Cloudera Manager嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器。 只有在成功从嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器后，才能迁移到外部MySQL或Oracle数据库。 查看集群CM元数据库使用的数据库服务器，如下所示，此时已迁移至MySQL cat /etc/cloudera-scm-server/db.properties ? 解决方式：为oozie服务创建数据库 ? 完成上述修改后，然后回到CM主页，根据提示重启相关服务 ? 服务重启完成后，此时数据库已迁移至MySQL数据库服务器。 ?
免密登录（cm-server） 为了方便在机器之间拷贝数据文件，将 cm-server 的公钥拷贝到其他两台 cm-agent 机器上，实现免密登录。 配置时间同步 所有服务器都以 cm-server 作为 NTP 服务器，修改 /etc/chrony.conf 文件，配置如下： # Use public servers from the pool.ntp.org 服务控制脚本执行权限 chmod +x /etc/rc.d/init.d/mysqld # 将mysqld服务加入到系统服务 chkconfig --add mysqld # 检查mysqld服务是否已经生效 选择【当前管理的主机】中可以看到所有启动了 Clouder Manager Agent ，并成功连接到 Clouder Manager Server 的服务器, 选择需要安装大数据组件的服务器。 ? 在这一步，Clouder Manager Server 会将 parcel 解压，分发，安装到每一台选择 Clouder Manager Agent 的服务器中。 ?
作者：朱超杰 文档编写目的 在前面的文章《如何将CM内嵌PostgreSQL服务迁移至外部PostgreSQL服务》介绍了将CM内嵌的PostgreSQL迁移至外部PostgreSQL，因为CM内嵌的 您必须首先从Cloudera Manager嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器。 只有在成功从嵌入式PostgreSQL数据库服务器迁移到外部PostgreSQL数据库服务器后，才能迁移到外部MySQL或Oracle数据库。 查看集群CM元数据库使用的数据库服务器，如下所示，此时已迁移至MySQL cat /etc/cloudera-scm-server/db.properties ? 6.完成上述修改后，然后回到CM主页，根据提示重启相关服务 ? 服务重启完成后，此时数据库已迁移至MySQL数据库服务器。 ?
Shibboleth IDP版本为3.3.2 2.环境准备 ---- 1.获取IDP服务的metadata.xml文件 在浏览器输入如下地址获取IDP服务的metadata.xml文件 http://ip CM节点 将IDP服务器上/opt/shibboleth-idp/credentials/目录下的idp-backchannel.p12文件拷贝至CM节点，执行如下命令生成keystore文件 [root CM地址显示如下 [ilfb73insg.jpeg] 由于CM服务未在IDP服务注册，所以访问有限制。 （可左右滑动） [ucfed9kjnz.jpeg] 5.登录验证 ---- 1.在浏览器输入CM地址，重定向到IDP服务的登录界面 [ycqa7l6947.jpeg] 2.在登录界面输入LDAP用户账号和密码 注册到IDP服务，并配置IDP服务的属性解析，否则无法将用户信息返回给Cloudera Manager服务。
JAVA_HOME/lib/tools.jar export PATH=\$PATH:\$JAVA_HOME/bin EOF source /etc/profile.d/java.sh f.配置各节点服务器需求 done d.创建本地源 mv CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel* manifest.json /opt/cloudera/parcel-repo/ e.启动服务 在cm-server启动server和agent服务，在其他节点启动agent服务 /opt/cm-5.14.1/etc/init.d/cloudera-scm-server start /opt/cm -5.14.1/etc/init.d/cloudera-scm-agent start 2.2.2 Cloudera Manager的web界面配置 服务器均启动后，可以浏览器访问cm-server的7180 16,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_90,type_ZmFuZ3poZW5naGVpdGk=] 后期可添加服务
4.总结 ---- 1.对于离线安装CDH6 Beta，分发Parcel出现hash校验失败的问题，是因为在CM6中修复了一个bug，让它不再忽略由http服务器发送的“Content-Encoding ”的header信息，但是我们在Redhat中安装的httpd服务，当它传输parcel文件时，默认会错误的设置“Content-Encoding”。 2.解决办法是参考第二个章节的，设置httpd的conf文件，AddType application/x-gzip .gz .tgz .parcel，然后重启httpd服务和CM服务。 3.但是带来的另外一个问题就是CM服务不再认识CDH的parcel url地址。这个问题没办法破，可能跟CM数据库会写入parcel的url相关。或者说是Beta版本不完善的地方。 但是agent无法连接到CM，因为卸载后CM的guid变了，需要删掉旧的guid文件，重新启动agent服务。然后界面上会重新开始分发parcel直到成功。具体请参考第三章。
yum源说白了就是一个软件集中存放地，在内网中选择一台机器专门存放各种软件，然后在内网中工作的机器需要安装哪些软件直接访问这台机器就可以了。 介绍一下我们搭建本地yum源的系统型号（注意，以下使用的命令可能对不同系统不起作用，所以如果按照本文章搭建yum源，建议使用CentOS6.5）：CentOS6.5 1.安装apache服务器： CentOS6.5 自带了apache服务器，可以通过以下命令查看： sudo rpm -qa | grep http 查看apache安装的软件 sudo service httpd status 查看apache的运行状态 sudo service httpd start 启动apache服务 sudo chkconfig httpd on 永久启动apache服务 访问master地址，看到如下截图，则认为apache服务器已经启动 ?
内容 版本 CentOS 7 64位 JDK 1.7 Cloudera Manager 5.14.1 本次安装一共使用3台服务器，主要用户测试。 修改hostname及hosts 针对所有节点操作 为了便于安装过程中对各个服务器的访问更易区分、更便捷，我们需要分别对各个服务器修改hostname及hosts hostnamectl --static 所有节点执行： yum install ntp -y 安装完成后，阿里云的服务器会自动使用阿里云的ntp服务器进行同步，故可不再进行下面的配置，直接进入2.6节，若其他没有统一ntp服务器进行同步的，则还需要以下设置 然后我们在web浏览器访问 http://192.168.254.130:7180/，看是否能打开页面即可，先不要进行登录操作。 注意：chd server服务器启动需要一些时间，等1分钟左右。 这里需要填写我们集群定义的ip或者服务器名称（包括安装CM的主机本身），点击搜索，即可加载出所有主机。全选所有主机，并继续。 ? 这里会出现我们之前cp过去的CDH版本，选择并继续。 ? ?
文档编写目的 在之前的文档《0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)》中介绍了如何在CM上使用rpm的方式安装CDH6.2.0集群，本文档将介绍如何在CM上使用rpm 安装前置准备 2.1 服务器相关设置 安装CDH集群时需要做一些前置的准备，本次安装使用的环境已经做好前置准备，需要做的准备如下： 1.hosts以及hostname配置正确 2.服务器没有启用IPv6 将上面所有的rpm包下载到服务器，如下： ? 在浏览器进行验证 ? 2.执行createrepo命令 createrepo . ? 指定CM的自定义存储库 ? 8.JDK的安装 ? 9.输入主机密码 ? 10.集群安装需要的包 ? ? 11.检测CDH版本 ? 12.检查主机正确性 ? 13.选择服务 ? 14.为服务分配角色 ? 15.设置数据库 ? 16.集群设置 ? 17.首次运行集群 ? 18.集群安装完成 ? 19.CM主页如下图 ?
VIP 可以将VIP地址配置在hosts文件中如:vipmysql.fayson.com 3.修改CM数据库配置 ---- 1.登录Cloudera Manager服务所在的服务器在命令行执行如下命令 4.修改CDH集群元数据库配置 ---- 1.登录CM进入主页，点击“配置” [27cf553rkx.jpeg] 2.选择“数据库配置” [wgsbef05ms.jpeg] 3.根据左边的范围修改相应服务的数据库配置 5.功能验证 ---- Keepalived服务绑定是MySQLA服务的ens192网卡，所以这里重启MySQLB服务器上的MariaDB服务。 [y0gtglv9ig.jpeg] 1.停掉MySQLB服务器MariaDB服务 [h5g7at4dz3.jpeg] MySQLB服务器的ens192网卡上192.168.0.188的IP地址已解绑 [ gglx97mxgv.jpeg] MySQLA服务器的ens192网卡已绑定192.168.0.188地址 [qa8uohqils.jpeg] 2.CM登录成功 [z5lm6y12l1.jpeg] 3.
数据库 2、CM 平台搭建 （1）在所有服务器上安装第三方依赖 yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite . server_port=7182 //指定通信端口 （5）拷贝CM文件夹给其他服务器 # scp -r /opt/cloudera-manager/ beifeng02.com:/opt/ # scp CM的jetty服务器操作界面的访问端口为7180，操作界面地址：http://beifeng01.com:7180，登陆用户名：admin，密码：admin。 3、在CM上搭建服务规划 机器 NameNode DataNode ResourceManager NodeManager JobHistoryServer NameNode HA热备 ResourceManager 三台机器都搭建ZooKeeper服务 警告：Cloudera Management Service: Service Monitor 的最大非Java 内存 修改为默认值，然后重启服务 （4）NameNode
) 关闭防火墙 配置时钟同步，根据当前集群时钟同步服务进行配置 swap已设置为10 关闭透明大页面 关闭SElinux 配置/etc/hosts文件或者使用DNS服务 配置cm和os的yum源 创建mysql jpeg] 注意：数据导入成功后，需要在mysql client执行命令：FLUSH PRIVILEGES; 4.迁移Kerberos MIT KDC 4.1备份原Kerberos数据库 登录到主KDC服务器上 krb5kdc 验证Kerberos是否正常，使用导入的user_r进行测试 [bkadlwozti.png] [iadbfzsy5k.jpeg] 4.3更新集群的krb5.conf配置 将KDC主服务器上的 253back# sudo systemctl start cloudera-scm-agent 注意：在新CM节点上启动cloudera-scm-agent服务后，会将CM节点的信息添加到cm库的 节点的所有服务停掉，然后生成该主机的keytab [afy96i2e9f.jpeg] 8.扩展 如何在不停止集群服务的情况下进行Cloudera Manager迁移，需要满足如下条件： 新CM节点的hostname
但是，如果您已使用嵌入式数据库，并且无法重新部署新的群集，则必须迁移到外部PostgreSQL数据库，接下来本篇文章主要介绍如何将CM嵌入式PostgreSQL迁移到外部的PostgreSQL服务。 注意：如果在停止Cloudera Manager Server之前未从Cloudera Manager中停止服务，则它们将继续运行并维护与嵌入式数据库服务器的网络连接。 如果发生这种情况，则嵌入式数据库服务器将忽略任何命令行停止命令，并要求您手动终止进程，从而导致服务崩溃而不是干净地停止。 注意：要成功运行pg_restore命令，数据库服务器上必须有现有数据库才能完成连接， 现有数据库不会被修改。 ，需要与PostgreSQL数据库服务器上的现有数据库建立连接，但现有数据库不会被修改。
但是，如果您已使用嵌入式数据库，并且无法重新部署新的群集，则必须迁移到外部PostgreSQL数据库，接下来本篇文章主要介绍如何将CM嵌入式PostgreSQL迁移到外部的PostgreSQL服务。 注意：如果在停止Cloudera Manager Server之前未从Cloudera Manager中停止服务，则它们将继续运行并维护与嵌入式数据库服务器的网络连接。 如果发生这种情况，则嵌入式数据库服务器将忽略任何命令行停止命令，并要求您手动终止进程，从而导致服务崩溃而不是干净地停止。 注意：要成功运行pg_restore命令，数据库服务器上必须有现有数据库才能完成连接， 现有数据库不会被修改。 PostgreSQL数据库服务器上的现有数据库建立连接，但现有数据库不会被修改。
云监控(CM)可收集并通过图表展示腾讯云云产品自助上报的各项监控指标和用户自定义配置上报的监控指标，以及针对指标设置告警，让您实时、精准掌控业务和各个云产品健康状况。
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
文件存储
命令行工具
SSL 证书