Cloudera(CDH) 简介和在线安装

实验背景

笔者需要维护线上的hadoop集群环境,考虑在本地搭建一套类似的hadoop集群,便于维护与管理。

Cloudera 简介

经过搜索发现Cloudera产品很适合笔者当前需求,于是开始研究Cloudera(CDH)的安装与使用,参考:

CDH是Apache Hadoop和相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码,是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 Cloudera作为一个强大的商业版数据中心管理工具,提供了各种能够快速稳定运行的数据计算框架,如Apache Spark;使用Apache Impala做为对HDFS,HBase的高性能SQL查询引擎;也带了Hive数据仓库工具帮助用户分析数据; 用户也能用Cloudera管理安装HBase分布式列式NoSQL数据库;Cloudera还包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去对Hadoop上的计算任务进行一个可视化的协调优化,提高运行效率;同时Cloudera中提供的各种组件能让用户在一个可视化的UI界面中方便地管理,配置和监控Hadoop以及其它所有相关组件,并有一定的容错容灾处理;Cloudera作为一个广泛使用的商业版数据中心管理工具更是对数据的安全决不妥协! CDH 提供:

  • 灵活性 - 存储任何类型的数据,并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习和统计计算。
  • 集成 - 在一个可与广泛的硬件和软件解决方案配合使用的完整Hadoop平台上快速启动并运行。
  • 安全 - 过程和控制敏感数据。
  • 可扩展性 - 启用广泛的应用程序并进行扩展和扩展,以满足您的需求。
  • 高可用性 - 充满信心地执行关键业务任务。
  • 兼容性 - 利用您现有的IT基础设施和资源。

上述描述来自:https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_intro.html

Cloudera Manager 介绍

Cloudera Manager可以轻松管理任何生产规模的Hadoop部署。通过直观的用户界面快速部署,配置和监控群集 - 完成滚动升级,备份和灾难恢复以及可定制警报。 Cloudera Manager作为Cloudera Enterprise的集成和支持部分提供。 参考:https://www.cloudera.com/documentation/enterprise/latest/topics/cm_intro_primer.html#concept_wfj_tny_jk

  • 如下所示,Cloudera Manager的核心是Cloudera Manager Server。服务器托管管理控制台Web服务器和应用程序逻辑,负责安装软件,配置,启动和停止服务以及管理运行服务的集群。

Cloudera Manager Server与其他几个组件一起工作:

  • agent - 安装在每台主机上。代理负责启动和停止进程,解包配置,触发安装和监视主机。
  • 管理服务 - 由一组执行各种监视,警报和报告功能的角色组成的服务。
  • 数据库 - 存储配置和监视信息。通常,多个逻辑数据库在一个或多个数据库服务器上运行。例如,Cloudera Manager Server和监视角色使用不同的逻辑数据库。
  • Cloudera存储库 - 由Cloudera Manager分发的软件存储库。
  • 客户端 - 是与服务器交互的接口:
    • 管理控制台 - 管理员用于管理集群和Cloudera Manager的基于Web的用户界面。
    • API - 与开发人员创建自定义Cloudera Manager应用程序的API。

安装Cloudera Manager和CDH

系统环境:CentOS6.9 软件环境:Oracle JDK、Cloudera Manager Server 和 Agent 、数据库、CDH各组件

  • 系统初始化(每个服务器都要做)
# 关闭iptables、禁用selinux

/etc/init.d/iptables stop && chkconfig iptables off
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config && setenforce 0

# 每台服务器之间设置免密认证
# CM
192.168.1.137 cdh.master.aniu.so master
192.168.1.148 cdh.node1.aniu.so node1
192.168.1.149 cdh.node2.aniu.so node2
192.168.1.150 cdh.node3.aniu.so node3
## 注:在每台服务器配置hosts,master和node1/2/3代表服务器的主机名

# 设置swap参数
echo never > /sys/kernel/mm/transparent_hugepage/defrag  #建议写到开启启动新里
sysctl -w vm.swappiness=0  # 建议写进sysctl.conf

# 设置ntp同步服务器时间
*/2 * * * * /usr/sbin/ntpdate 0.cn.pool.ntp.org >> /dev/null 2>&1

Cloudera安装步骤 参考:https://www.cloudera.com/documentation/enterprise/latest/topics/installation_installation.html

  • 阶段1:安装JDK(忽略)
[Java SE 8 Downloads](http://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html)
export JAVA_HOME=/usr/java/jdk.1.8.0_nn
# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
# 注 此处不用安装JDK,因为CM源有封装好的jdk,
  • 阶段2:设置数据库
# 使用mysql数据库,提前安装好mysql
# mysql -u root -ppassword -e "create database cmf DEFAULT CHARACTER SET utf8;"
# mysql -u root -ppassword -e "GRANT ALL PRIVILEGES ON `cmf`.* TO 'cmf'@'localhost' IDENTIFIED BY 'cmfpassword'";"
  • 阶段3:安装Cloudera Manager服务器
# 配置cloudera-cdh源和cloudera-manager源
# cloudera-manager
wget http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

# cloudera-cdh
wget https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo

# 安装jdk和cloudera-manager
sudo yum install oracle-j2sdk1.7 -y
sudo yum install cloudera-manager-daemons cloudera-manager-server -y
  • 阶段4:启动CM服务并通过浏览器访问
# /etc/init.d/cloudera-scm-server restart
Stopping cloudera-scm-server:                              [  OK  ]
Starting cloudera-scm-server:                              [  OK  ]

# 查看日志是否有报错,根据报错修改,然后再重新启动
tailf /var/log/cloudera-scm-server/cloudera-scm-server.log 

浏览器访问:http://192.168.1.137:7180,用户名密码:admin admin

  • 点击搜索
  • 创建必需的数据库
# 参考:https://www.cloudera.com/documentation/enterprise/latest/topics/install_cm_mariadb.html
# hive hue amon man nas navms oos 

create database metastore DEFAULT CHARACTER SET utf8;
grant all on metastore.* TO 'hive'@'%' IDENTIFIED BY 'Aniuhive123.';

create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'Aniuamon123.';

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'hue'@'%' IDENTIFIED BY 'Aniuhue123.';

create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'Aniurman123.';

create database navms DEFAULT CHARACTER SET utf8;
grant all on navms.* TO 'navms'@'%' IDENTIFIED BY 'Aniunavms123.';

create database nas DEFAULT CHARACTER SET utf8;
grant all on nas.* TO 'nas'@'%' IDENTIFIED BY 'Aniunas123.';

create database oos DEFAULT CHARACTER SET utf8;
grant all on oos.* TO 'oos'@'%' IDENTIFIED BY 'Aniuoos123.';
  • 集群更改设置

系统自带的python不能升级,升级会导致安装CM agent出问题

  • 看到下面的安装成功是很开心。

注意事项

  • 建议使用全新的服务器或者虚拟机安装CM服务,避免其他环境(服务)对安装过程造成影响
  • 系统初始化操作一定要一致,python版本注意用系统自带即可
异常4:执行/opt/cm-5.1.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pxxxx --scm-host localhost scm scm scm
出现异常:

butil.DbCommandExecutor /opt/cm-5.4.7/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.

log4j:ERROR Could not find value for key log4j.appender.A

log4j:ERROR Could not instantiate appender named "A".

错误原因:授权失败:

#授权root用户在主节点拥有所有数据库的访问权限

grant all privileges on *.* to 'root'@'yunwei' identified by 'Aniuops123.' with grant option;

flush privileges;

重要

  • 卸载重装CM服务
# 笔者前期系统初始化部分很多操作都不完善,卸载重装CM步骤

# 安装CDH manager的服务器上面执行
yum remove cloudera-manager-server -y

# 在所有的服务器执行下面操作
/etc/init.d/cloudera-scm-agent stop
yum remove cloudera-manager-agennt-y
ps -ef | grep cmf | grep -v grep | awk '{print $2}' | xargs kill -9
find / -name clouder* | xargs rm -rf 
find / -name cmf* | xargs rm -rf 
# 把使用yum下载的相关包卸载干净。然后通过CDH manager 管理界面安装

参考链接:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏DevOps时代的专栏

手把手教你利用Jenkins持续集成iOS项目

2473
来自专栏Pythonista

nginx+uWSGI+django+virtualenv+supervisor发布web服务器

大家都学过了django,用django写了各种功能,写了bbs项目,写了路飞学城。

1044
来自专栏肖洒的博客

Web(二):Django概述

昨晚下了一晚的雨,早上研会的趣味运动会忙了一早上,下午是时候学习了。(白眼) 写在前面 之前看 learn python the hard way 推荐使用No...

752
来自专栏云计算教程系列

如何在Ubuntu 14.04上安装MemSQL

MemSQL是一种内存数据库,可以提供比传统数据库更快的读写操作。即使它是一项新技术,它也会说MySQL协议,因此使用起来非常熟悉。

1292
来自专栏我是攻城师

如何使用Jekyll+GitHub Pages搭建个人博客站点

3837
来自专栏沃趣科技

ASM 翻译系列第三十一弹:了解ASM文件的空间分配

原作者:Bane Radulovic 译者: 邱大龙 审核: 魏兴华 DBGeeK社区联合出品 How many allocation units ...

3297
来自专栏Hadoop实操

Cloudera Manager管理控制台

Cloudera Manager管理控制台(Cloudera Manager Admin Console)是一个基于Web的用户界面,用于配置,管理和监控CDH...

6739
来自专栏Jerry的SAP技术分享

JPA + EclipseLink + SAP云平台 = 运行在云端的数据库应用

JPA(Java Persistence API)的实现Provider有Hibernate,OpenJPA和EclipseLink等等。

3564
来自专栏云知识学习

TKE容器服务​创建ingress

ingress:通俗的理解是:通过7层负载均衡转发对应url到对应的path中,实现准确转发流量目的。

1462
来自专栏北京马哥教育

Hadoop 2.0中作业日志收集原理以及配置方法

Hadoop 2.0提供了跟1.0类似的作业日志收集组件,从一定程度上可认为直接重用了1.0的代码模块,考虑到YARN已经变为通用资源管理平台,因此,提供一个通...

3536

扫码关注云+社区