前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【项目实战】环境搭建

【项目实战】环境搭建

作者头像
十里桃花舞丶
发布2020-09-24 16:26:52
5070
发布2020-09-24 16:26:52
举报
文章被收录于专栏:桥路_大数据

虚拟机准备

安装说明 & 文件下载

下载并安装 Virtual Box,准备并安装 3 台 CentOS 7.2 的虚拟机,主机名命名为 Node01、Node02、Node03。

虚拟机的安装可以使用纯系统镜像,安装后配置主机名。但过程会比较繁琐,学习环境讲求开箱即用,尽量少地在环境上花费时间,否则会打击学习的热情。所以,也可以直接导入已经配置好的虚拟机镜像文件,方便使用。

使用纯镜像安装,下附 CentOS 镜像下载地址:

推荐直接导入虚拟机镜像文件,下附虚拟机镜像下载地址:

虚拟机镜像文件导入流程

1. 下载虚拟机镜像文件:

2. 打开 Virtual Box,选择导入虚拟电脑:

3. 选择文件位置,进行导入:

4. 配置虚拟机,自定义将虚拟机文件存放到指定目录,然后点击确定,完成导入:

image-20200819094401086
image-20200819094401086

5. 依次导入 Node01、Node02、Node03:

6. 开启虚拟机,使用 root/123456 进行登录:

image-20200819095050483
image-20200819095050483

7. 修改虚拟机 IP 地址:

代码语言:javascript
复制
vim /etc/sysconfig/network-scripts/ifcfg-enp0s3

8. 使用 XShell,或者其它远程 SSH Linux 登录工具进行远程连接虚拟机:

自动化安装脚本准备

1. 下载并上传自动化安装脚本 automaticDeploy.zip 到虚拟机 Node01 中。

代码语言:javascript
复制
wget https://github.com/MTlpc/automaticDeploy/archive/master.zip

2. 解压 automaticDeploy.zip 到 /home/hadoop/ 目录下:

代码语言:javascript
复制
mkdir /home/hadoop/
unzip master.zip -d /home/hadoop/
mv /home/hadoop/automaticDeploy-master /home/hadoop/automaticDeploy

3. 更改自动化安装脚本的 frames.txt 文件,配置组件的安装节点信息(如无特殊要求,默认即可)。

4. 编辑自动化安装脚本的 configs.txt 文件,配置 MySQL、Keystore 密码信息(如无特殊要求,默认即可,末尾加 END 表示结束)。

5. 编辑 host_ip.txt 文件,将 3 台虚拟机节点信息添加进去(需自定义进行修改):

6. 对 /home/hadoop/automaticDeploy/ 下的 hadoop、systems 所有脚本添加执行权限:

代码语言:javascript
复制
chmod +x /home/hadoop/automaticDeploy/hadoop/* /home/hadoop/automaticDeploy/systems/*

大数据环境一键安装

1. 下载 frames.zip 包,里面包含大数据组件的安装包,并上传到 Node01 中:

2. 将 frames.zip 压缩包,解压到/home/hadoop/automaticDeploy 目录下:

代码语言:javascript
复制
unzip frames.zip -d /home/hadoop/automaticDeploy/

3. 将自动化脚本分发到其它两个节点:

代码语言:javascript
复制
# 需提前在另外两个节点创建 /home/hadoop 目录(此时还未配置 hosts,需将 node02\node03 替换为对应 IP)
ssh root@node02 "mkdir /home/hadoop"
ssh root@node03 "mkdir /home/hadoop"
scp -r /home/hadoop/automaticDeploy root@node02:/home/hadoop/
scp -r /home/hadoop/automaticDeploy root@node03:/home/hadoop/

4. 依次在各个节点执行 systems/batchOperate.sh 脚本,完成环境初始化。

代码语言:javascript
复制
/home/hadoop/automaticDeploy/systems/batchOperate.sh

为了避免脚本中与各个节点的 SSH 因为环境问题,执行失败,需要手动测试下与其它节点的 SSH 情况,如果失败,则手动添加。

失败后重新添加 SSH:

代码语言:javascript
复制
ssh-copy-id node02

5. 在各个节点执行脚本,安装 Hadoop 集群:

代码语言:javascript
复制
/home/hadoop/automaticDeploy/hadoop/installHadoop.sh
source /etc/profile
# 在 Node01 节点执行,初始化 NameNode
hadoop namenode -format
# 在 Node01 节点执行,启动 Hadoop 集群
start-all.sh

6. 使用本地浏览器访问 node01:50070,成功则搭建成功。

7. 安装其它组件,在所有节点运行以下命令,未规划安装节点会自动跳过安装。

代码语言:javascript
复制
/home/hadoop/automaticDeploy/hadoop/installMysql.sh
/home/hadoop/automaticDeploy/hadoop/installHive.sh
/home/hadoop/automaticDeploy/hadoop/installSqoop.sh
/home/hadoop/automaticDeploy/hadoop/installPresto.sh
/home/hadoop/automaticDeploy/hadoop/installAzkaban.sh
/home/hadoop/automaticDeploy/hadoop/installYanagishima.sh

8. 在所有虚拟机节点 source 环境变量文件:

代码语言:javascript
复制
source /etc/profile
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/09/22 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 虚拟机准备
    • 安装说明 & 文件下载
      • 虚拟机镜像文件导入流程
      • 自动化安装脚本准备
      • 大数据环境一键安装
      相关产品与服务
      云数据库 MySQL
      腾讯云数据库 MySQL(TencentDB for MySQL)为用户提供安全可靠,性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性,包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL,可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档