前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hadoop3.0、Hive2.3.2、HBase2.1集群重置

Hadoop3.0、Hive2.3.2、HBase2.1集群重置

作者头像
静谧星空TEL
发布2022-04-13 21:13:15
5090
发布2022-04-13 21:13:15
举报

目录

一、hbase集群重置

1、hdfs删除hbase数据

2、关闭hbase

3、清除日志目录

4、hbase zk元数据

5、启动hbase

6、查看hbase webui

二、hive集群重置

1、关闭hive

2、hdfs删除hive

3、删除hive日志文件

4、 初始化hive数据库

5、启动 HiveServer2 服务

6、查看 HiveServer2 webui

三、hadoop集群重置

1、关闭hbase和hdfs

2、关闭zookeeper

3、删除nn、dn、jn配置目录数据

4、删除hdfs、hive、hbase日志文件

5、清除zookeeper数据(非必须)

6、启动zookeeper

7、格式化zookeeper

8、启动zkfc

9、启动journalNode

10、格式化namenode

11、启动hdfs

12、同步namenode

13、启动namenode

14、查看 hdfs webui


大数据集群搭建

大数据集群搭建之Linux安装hadoop3.0.0_qq262593421的博客-CSDN博客

https://cloud.tencent.com/developer/article/1929295

大数据集群之hbase2.1.0高可用安装配置_qq262593421的博客-CSDN博客

一、hbase集群重置

1、hdfs删除hbase数据

代码语言:javascript
复制
hadoop fs -rm -r -f /hbase

2、关闭hbase

代码语言:javascript
复制
​stop-habse.sh

3、清除日志目录

代码语言:javascript
复制
rm -rf /usr/local/hadoop/hbase/logs/*

4、hbase zk元数据

代码语言:javascript
复制
zkCli.sh
ls /hbase
rmr /hbase
quit

5、启动hbase

代码语言:javascript
复制
start-hbase.sh

6、查看hbase webui

http://hadoop001:16010/

二、hive集群重置

1、关闭hive

代码语言:javascript
复制
ps -aux | grep hive
代码语言:javascript
复制
 hadoop job -kill jobid

2、hdfs删除hive

代码语言:javascript
复制
hadoop fs -rm -r -f /user/hive/*

3、删除hive日志文件

代码语言:javascript
复制
rm -rf /user/hadoop/hive/logs/*

4、 初始化hive数据库

代码语言:javascript
复制
schematool -dbType mysql -initSchema

5、启动 HiveServer2 服务

代码语言:javascript
复制
nohup hiveserver2 > /dev/null 2>&1 &

6、查看 HiveServer2 webui

http://hadoop001:10002/

三、hadoop集群重置

1、关闭hbase和hdfs

代码语言:javascript
复制
stop-habse.sh
代码语言:javascript
复制
stop-all.sh

2、关闭zookeeper

代码语言:javascript
复制
zkServer.sh stop

3、删除nn、dn、jn配置目录数据

代码语言:javascript
复制
rm -rf /home/cluster/hadoop/data/nn/*
rm -rf /home/cluster/hadoop/data/dn/*
rm -rf /home/cluster/hadoop/data/jn/*
rm -rf /home/cluster/hadoop/data/tmp/*
rm -rf /home/cluster/yarn/log/*

4、删除hdfs、hive、hbase日志文件

代码语言:javascript
复制
rm -rf /usr/local/hadoop/hbase/logs/*
rm -rf /user/hadoop/hive/logs/*
rm -rf /usr/local/hadoop/hive/tmp/*
rm -rf /usr/local/hadoop/hadoop/logs/*

5、清除zookeeper数据(非必须)

代码语言:javascript
复制
zkCli.sh
ls /yarn-leader-election/
ls /hadoop-ha
rmr /yarn-leader-election
rmr /hadoop-ha
quit

注意:如果只有hadoop和zookeeper使用到zk可以执行这步操作,否则到下一步骤

代码语言:javascript
复制
rm -rf /usr/local/hadoop/zookeeper/data/*
rm -rf /usr/local/hadoop/zookeeper/logs/*

在各个节点上重新生成myid文件,注意每台主机的myid不能相同

代码语言:javascript
复制
echo "1" > /usr/local/hadoop/zookeeper/data/myid

6、启动zookeeper

代码语言:javascript
复制
zkServer.sh start

7、格式化zookeeper

代码语言:javascript
复制
hdfs zkfc -formatZK

8、启动zkfc

代码语言:javascript
复制
hdfs --daemon start zkfc

9、启动journalNode

代码语言:javascript
复制
hdfs --daemon start journalnode

10、格式化namenode

代码语言:javascript
复制
hdfs namenode -format

11、启动hdfs

代码语言:javascript
复制
star-all.sh

12、同步namenode

代码语言:javascript
复制
hdfs namenode -bootstrapStandby

13、启动namenode

代码语言:javascript
复制
hdfs --damon start namenode

14、查看 hdfs webui

http://hadoop001:9870/

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2021-04-18 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、hbase集群重置
    • 1、hdfs删除hbase数据
      • 2、关闭hbase
        • 3、清除日志目录
          • 4、hbase zk元数据
            • 5、启动hbase
              • 6、查看hbase webui
              • 二、hive集群重置
                • 1、关闭hive
                  • 2、hdfs删除hive
                    • 3、删除hive日志文件
                      • 4、 初始化hive数据库
                        • 5、启动 HiveServer2 服务
                          • 6、查看 HiveServer2 webui
                          • 三、hadoop集群重置
                            • 1、关闭hbase和hdfs
                              • 2、关闭zookeeper
                                • 3、删除nn、dn、jn配置目录数据
                                  • 4、删除hdfs、hive、hbase日志文件
                                    • 5、清除zookeeper数据(非必须)
                                      • 6、启动zookeeper
                                        • 7、格式化zookeeper
                                          • 8、启动zkfc
                                            • 9、启动journalNode
                                              • 10、格式化namenode
                                                • 11、启动hdfs
                                                  • 12、同步namenode
                                                    • 13、启动namenode
                                                      • 14、查看 hdfs webui
                                                      相关产品与服务
                                                      TDSQL MySQL 版
                                                      TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
                                                      领券
                                                      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档