专栏首页Hadoop数据仓库CDH 5.7.0 离线安装详解

CDH 5.7.0 离线安装详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51601989

一、CDH 安装概述

有三种方式安装CDH: Path A - 通过Cloudera Manager自动安装 Path B - 使用Cloudera Manager Parcels或Packages安装 Path C - 使用Cloudera Manager Tarballs手工安装

不同方式的安装步骤总结如下:

步骤

步骤 1: 安装 JDK Cloudera Manager Server、Management Service和CDH需要安装JDK。

有两个选项: . 使用Cloudera Manager安装程序在集群中的所有主机的/usr/java下安装一个Oracle JDK的支持版本。 . 使用命令行在所有主机上安装一个Oracle JDK的支持版本,并且设置JAVA_HOME环境变量为JDK的安装目录。

步骤 2: 设置数据库 Cloudera Manager Server、Cloudera Management Service和某些CDH的可选服务需要安装、配置和启动数据库。

有两个选项: 使用Cloudera Manager安装程序安装、配置和启动一个内嵌的PostgresSQL数据库。 使用诸如yum这样的命令行包安装工具安装、配置和启动数据库。

Path A

Path B

Path C

步骤 3: 安装Cloudera Manager服务器 在一台主机上安装和启动Cloudera Manager服务器。

使用Cloudera Manager安装程序安装它的包和服务器。需要该主机的sudo权限并能访问互联网。

使用Linux包安装命令(如yum)安装Cloudera Manager服务器。 修改数据库属性。 使用服务命令启动Cloudera Manager服务器。

使用Linux命令解包,并且使用服务命令启动服务。

Phase 4: 安装Cloudera Manager 代理 在所有主机上安装并启动 Cloudera Manager 代理。

使用Cloudera Manager安装向导在所有主机上安装代理。

有两个选项: . 使用Linux包安装命令(如yum)在所有主机上安装Cloudera Manager代理。 . 使用Cloudera Manager安装向导在所有主机上安装代理。

使用Linux命令在所有主机上解包并启动代理。

Phase 5: 安装CDH和受管服务的软件 在所有主机上安装、配置并启动CDH和受管服务。

使用Cloudera Manager安装向导安装CDH和其它受管服务。

有两个选项: . 使用Cloudera Manager安装向导安装CDH和其它受管服务。 . 使用Linux包安装命令(如yum)在所有主机上安装CDH和其它受管服务。

使用Linux命令在所有主机上解包,并使用服务命令启动CDH和受管服务。

Phase 6: 建立、配置并启动CDH和受管服务 配置并启动CDH和受管服务。

使用Cloudera Manager安装向导安装CDH和其它受管服务,给主机赋予角色并配置集群。许多配置是自动的。

使用Cloudera Manager安装向导安装CDH和其它受管服务,给主机授予角色并配置集群。 许多配置是自动的。

使用Cloudera Manager安装向导安装CDH和其它受管服务,给主机赋予角色并配置集群。 许多配置是自动的。 也可以使用Cloudera Manager API管理一个集群,这对于脚本预配置部署是很有用的。

二、实验环境

1. IP和主机名,所有主机都可以连接互联网 172.16.1.101 cdh1 172.16.1.102 cdh2 172.16.1.103 cdh3 172.16.1.104 cdh4 2. 硬件资源 每个机器:CPU4核、内存8G、硬盘100G 3. 操作系统 CentOS release 6.4 (Final) 64位 三、配置步骤 1. 安装前准备(都是使用root用户在集群中的所有主机配置) (1)从以下地址下载所需要的安装文件 http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.7.0_x86_64.tar.gz http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 http://archive.cloudera.com/cdh5/parcels/5.7/manifest.json (2)使用下面的命令检查OS依赖包,xxxx换成包名 rpm -qa | grep xxxx 以下这些包必须安装: chkconfig python (2.6 required for CDH 5) bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap (rpcbind) fuse-libs redhat-lsb (3)配置域名解析 vi /etc/hosts # 添加如下内容 172.16.1.101 cdh1 172.16.1.102 cdh2 172.16.1.103 cdh3 172.16.1.104 cdh4 (4)安装JDK CDH5推荐的JDK版本是1.7.0_67、1.7.0_75、1.7.0_80,这里安装1.7.0_80 注意: . 所有主机要安装相同版本的JDK . 安装目录为/usr/java/jdk-version mkdir /usr/java/ mv jdk-7u80-linux-x64.tar.gz /usr/java/ cd /usr/java/ tar -zxvf jdk-7u80-linux-x64.tar.gz chown -R root:root jdk1.7.0_80/ echo "export JAVA_HOME=/usr/java/jdk1.7.0_80;" >> /etc/profile.d/java.sh echo "export CLASSPATH=.:$JAVA_HOME/jre/lib/*:$JAVA_HOME/lib/*;" >> /etc/profile.d/java.sh echo "export PATH=$PATH:$JAVA_HOME/bin" >> /etc/profile.d/java.sh source /etc/profile.d/java.sh echo $JAVA_HOME (5)安装启动NTP服务(NTP配置步骤略) service ntpd start (6)建立CM用户 useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm usermod -a -G root cloudera-scm echo USER=\"cloudera-scm\" >> /etc/default/cloudera-scm-agent

echo "Defaults secure_path = /sbin:/bin:/usr/sbin:/usr/bin" >> /etc/sudoers

(7)安装配置MySQL数据库(为了后面配置方便,这里每个主机都装了)

# 安装MySQL-5.6.14 rpm -ivh MySQL-5.6.14-1.el6.x86_64.rpm # 设置PATH echo "export PATH=$PATH:/home/mysql/mysql-5.6.14/bin" >> /etc/profile.d/mysql.sh source /etc/profile.d/mysql.sh # 修改root密码 mysqladmin -u root password # 编辑配置文件 vi /etc/my.cnf # 内容如下 [mysqld] transaction-isolation = READ-COMMITTED log_bin=/data/mysql_binary_log binlog_format = mixed innodb_flush_log_at_trx_commit = 2 innodb_flush_method = O_DIRECT key_buffer = 16M key_buffer_size = 32M max_allowed_packet = 32M thread_stack = 256K thread_cache_size = 64 query_cache_limit = 8M query_cache_size = 64M query_cache_type = 1 max_connections = 550 read_buffer_size = 2M read_rnd_buffer_size = 16M sort_buffer_size = 8M join_buffer_size = 8M innodb_flush_log_at_trx_commit = 2 innodb_log_buffer_size = 64M innodb_buffer_pool_size = 4G innodb_thread_concurrency = 8 innodb_log_file_size = 512M [mysqld_safe] log-error=/data/mysqld.err pid-file=/data/mysqld.pid sql_mode=STRICT_ALL_TABLES # 添加开机启动 chkconfig mysql on # 启动MySQL service mysql restart # 根据需要建立元数据库 mysql -u root -p -e "create database hive DEFAULT CHARACTER SET utf8;create database rman DEFAULT CHARACTER SET utf8;create database oozie DEFAULT CHARACTER SET utf8;grant all on *.* TO 'root'@'%' IDENTIFIED BY '123456';" (8)安装MySQL JDBC驱动 tar -zxvf mysql-connector-java-5.1.38.tar.gz cp ./mysql-connector-java-5.1.38/mysql-connector-java-5.1.38-bin.jar /usr/share/java/mysql-connector-java.jar (9)配置免密码ssh(这里配置了任意两台机器都免密码) # 分别在四台机器上生成密钥对: cd ~ ssh-keygen -t rsa # 然后一路回车 # 在cdh1上执行: cd ~/.ssh/ ssh-copy-id cdh1 scp /root/.ssh/authorized_keys cdh2:/root/.ssh/ # 在cdh2上执行: cd ~/.ssh/ ssh-copy-id cdh2 scp /root/.ssh/authorized_keys cdh3:/root/.ssh/ #在cdh3上执行: cd ~/.ssh/ ssh-copy-id cdh3 scp /root/.ssh/authorized_keys cdh4:/home/grid/.ssh/ #在cdh4上执行: cd ~/.ssh/ ssh-copy-id cdh4 scp /root/.ssh/authorized_keys cdh1:/root/.ssh/ scp /root/.ssh/authorized_keys cdh2:/root/.ssh/ scp /root/.ssh/authorized_keys cdh3:/root/.ssh/ 2. 在cdh1上安装Cloudera Manager tar -xzvf cloudera-manager*.tar.gz -C /opt/ # 建立cm数据库 /opt/cm-5.7.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm # 配置cm代理 vi /opt/cm-5.7.0/etc/cloudera-scm-agent/config.ini # 将cm主机名改为cdh1 server_host=cdh1 # 将Parcel相关的三个文件拷贝到/opt/cloudera/parcel-repo cp CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel /opt/cloudera/parcel-repo/ cp CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 /opt/cloudera/parcel-repo/ cp manifest.json /opt/cloudera/parcel-repo/ # 改名 mv /opt/cloudera/parcel-repo/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.7.0-1.cdh5.7.0.p0.45-el6.parcel.sha # 修改属主 chown -R cloudera-scm:cloudera-scm /opt/cloudera/ chown -R cloudera-scm:cloudera-scm /opt/cm-5.7.0/ # 将/opt/cm-5.7.0目录拷贝到其它三个主机 scp -r -p /opt/cm-5.7.0 cdh2:/opt/ scp -r -p /opt/cm-5.7.0 cdh3:/opt/ scp -r -p /opt/cm-5.7.0 cdh4:/opt/ 3. 在每个主机上建立/opt/cloudera/parcels目录,并修改属主 mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 4. 在cdh1上启动cm server /opt/cm-5.7.0/etc/init.d/cloudera-scm-server start # 此步骤需要运行一些时间,用下面的命令查看启动情况 tail -f /opt/cm-5.7.0/log/cloudera-scm-server/cloudera-scm-server.log 5. 在所有主机上启动cm agent mkdir /opt/cm-5.7.0/run/cloudera-scm-agent chown cloudera-scm:cloudera-scm /opt/cm-5.7.0/run/cloudera-scm-agent /opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start 6. 登录cm控制台,安装CDH5 打开控制台 http://172.16.1.101:7180/ 页面如图1所示。

图1

缺省的用户名和密码都是admin,登录后进入欢迎页面。勾选许可协议,如图2所示,点继续。

图2

进入版本说明页面,如图3所示,点继续。

图3

进入服务说明页面,如图4所示,点继续。

图4

进入选择主机页面,如图5所示,全选四个主机,点继续。

图5

进入选择存储库页面,如图6所示,点继续。

图6

进入集群安装页面,如图7所示,点继续。

图7

进入验证页面,如图8所示,点完成。

图8

进入集群设置页面,如图9所示,根据需要选择服务,点继续。

图9

进入自定义角色分配页面,如图10所示,保持不变,点继续。

图10

进入数据库设置页面,填写相关信息,点测试连接,如图11所示,点继续。

图11

进入审核更改页面,保持不变,点继续。

进入首次运行页面,等待运行完,如图12所示,点继续。

图12

进入安装成功页面,如图13所示,点完成。

图13

进入安装成功页面,如图14所示。

图14

参考: http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_install_path_c.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于Hadoop生态圈的数据仓库实践 —— 环境搭建(二)

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/...

    用户1148526
  • HAWQ取代传统数仓实践(十二)——维度表技术之分段维度

    一、分段维度简介         在客户维度中,最具有分析价值的属性就是各种分类,这些属性的变化范围比较大。对某个个体客户来说,可能的分类属性包括:性别、年龄、...

    用户1148526
  • OushuDB入门(一)——安装篇

    OushuDB是由Apache HAWQ创始团队基于HAWQ打造的新一代数据仓库(New Data Warehouse...

    用户1148526
  • 基于Hadoop生态圈的数据仓库实践 —— 环境搭建(二)

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/...

    用户1148526
  • CVPR 20 放榜!1470 篇被收,华为某组 11 投 7 中

    内容提要:今天,计算机视觉顶会 CVPR 放榜,共 1470 篇论文榜上有名。一些大神已经开始纷纷晒起了成绩单,一起来围观。

    HyperAI超神经
  • (servelet)验证码

    qubianzhong
  • 2018 CVPR正式开幕,斯坦福大学和加州大学伯克利分校赢得最佳论文奖

    2018年计算机视觉和模式识别会议(CVPR)在美国盐湖城开幕。CVPR组委会宣布了最佳论文和最佳学生论文。

    AiTechYun
  • 0577-5.16.1-使用Cloudera Manager配置自定义csd目录异常

    自定义服务描述符(custom service descriptor,CSD)是Cloudera Manager用来描述某个产品的,比如Spark2,CDSW或...

    Fayson
  • 一步步完成gRPC 示例

    可以访问网址【https://github.com/google/protobuf/releases】查看不同版本代码生成器,本文使用的版本为protoc-3....

    孟君
  • 如何高效读论文?

    (由于微信公众号外部链接的限制,文中的部分链接可能无法正确打开。如有需要,请点击文末的“阅读原文”按钮,访问可以正常显示外链的版本。)

    用户2930930

扫码关注云+社区

领取腾讯云代金券