前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据环境安装脚本升级

大数据环境安装脚本升级

作者头像
十里桃花舞丶
发布2021-01-21 11:00:53
2820
发布2021-01-21 11:00:53
举报
文章被收录于专栏:桥路_大数据桥路_大数据

大数据环境安装脚本升级

功能新增&调整

最近对大数据环境安装脚本进行了升级。相比上一个版本,增加了以下功能:

新版本的脚本,已经提交到hive分支中,master分支因为之前的课程原因暂不进行升级,之后测试通过后再进行合并。

附上脚本开源地址:https://github.com/MTlpc/automaticDeploy

大数据环境一键安装

大数据环境使用脚本安装时,与之前相比,只有第3步不同。这里直接在一个节点上,执行clusterOperate.sh,便会对集群所有节点进行脚本分发、安装包分发、环境初始化,简化了使用步骤。

  1. 下载frames.zip包,里面包含大数据组件的安装包,并上传到node01中
代码语言:javascript
复制
链接:https://pan.baidu.com/s/1XxuouuogndEc6vIIiUhyTw 
提取码:i4ki 
复制这段内容后打开百度网盘手机App,操作更方便哦
  1. 将frames.zip压缩包,解压到/home/hadoop/automaticDeploy目录下
代码语言:javascript
复制
unzip frames.zip -d /home/hadoop/automaticDeploy/
  1. 进行集群环境配置,并分发安装脚本和文件
代码语言:javascript
复制
/home/hadoop/automaticDeploy/systems/clusterOperate.sh
  1. 在各个节点执行脚本,安装Hadoop集群
代码语言:javascript
复制
/home/hadoop/automaticDeploy/hadoop/installHadoop.sh
source /etc/profile
# 在Node01节点执行,初始化NameNode
hadoop namenode -format
# 在Node01节点执行,启动Hadoop集群
start-all.sh
  1. 使用本地浏览器访问node01:50070,成功则说明Hadoop搭建成功

后话

如果有帮助的,记得点赞、关注。在公众号《数舟》中,可以免费获取专栏《数据仓库》配套的视频课程、大数据集群自动安装脚本,并获取进群交流的途径。

我所有的大数据技术内容也会优先发布到公众号中。如果对某些大数据技术有兴趣,但没有充足的时间,在群里提出,我为大家安排分享。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2021-01-16 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 大数据环境安装脚本升级
    • 功能新增&调整
      • 大数据环境一键安装
        • 后话
        相关产品与服务
        大数据
        全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档