Hadoop生态圈和各组件的启动、关闭脚本介绍

Hadoop生态圈各组件的启动及关闭脚本,虽然有些使用频率不高,不容易记住,这里特地整理出来,大家可以先保存,用的时候就方便了。

1. Hdfs (v 2.7.3)

1.1.启动集群

sbin/start-dfs.sh

注:这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。

1.2.启动NameNode

sbin/hadoop-daemon.sh start namenode

1.3.启动DataNode

sbin/hadoop-daemon.sh start datanode

1.4.停止集群

sbin/stop-dfs.sh

1.5.停止单个进程

sbin/hadoop-daemon.sh stop zkfc
sbin/hadoop-daemon.sh stop journalnode
sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode

2. Yarn (v 2.7.3)

2.1.启动集群

sbin/start-yarn.sh

注:start-yarn.sh启动脚本只在本地启动一个ResourceManager进程,而3台机器上的nodemanager都是通过ssh的方式启动的。

2.2.启动ResouceMananger

sbin/yarn-daemon.sh start resourcemanager

2.3.启动NodeManager

sbin/yarn-daemon.sh start nodemanager

2.3.启动JobHistoryServer

sbin/yarn-daemon.sh start historyserver

2.4.停止集群

sbin/stop-yarn.sh

2.5.停止单个节点

sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager

3. Zookeeper (v 3.4.5)

3.1.启动集群

bin/zkServer.sh start

3.2.启动单个节点

bin/zkServer.sh start

3.3.启动客户端

bin/zkCli.sh -server master:2181

4.Kafka (v 2.10-0.10.1.1)

4.1.启动集群

bin/kafka-server-start.sh -daemon config/server.properties

4.2.启动单个节点

bin/kafka-server-start.sh -daemon config/server.properties

4.3.创建Topic

bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

4.4.列出Topic

bin/kafka-topics.sh --list --zookeeper master:2181

4.5.生产数据

bin/kafka-console-producer.sh --broker-list master:9092 --topic test

4.6.读取数据

bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning

5.Hbase (v 1.2.4)

5.1.启动/停止集群

bin/start-hbase.shbin/stop-hbase.sh

5.2. 启动/停止HMaster

bin/hbase-daemon.sh start masterbin/hbase-daemon.sh stop master

5.3. 启动/停止HRegionServer

bin/hbase-daemon.sh start regionserverbin/hbase-daemon.sh stop regionserver

5.2.启动Shell

bin/hbase shell

6.Spark (v 2.1.0-bin-hadoop2.7)

6.1.启动程序

6.1.1. 本地

bin/spark-shell --master local

6.1.2.Standalone

bin/spark-shell --master spark://master:7077

6.1.3. Yarn Client

bin/spark-shell --master yarn-client

6.1.4. Yarn Cluster

bin/spark-shell --master yarn-cluster

7. Flume

7.1启动Agent

bin/flume-ng agent -n LogAgent -c conf -f conf/logagent.properties -Dflume.root.logger=DEBUG,console

8.Sqoop

8.1.导入

sqoop import \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities

8.2.导出

sqoop export \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities \
--export-dir cities

9.Hive

9.1. 启动Shell

hive -h <host> -p <port>
beeline -u jdbc:hive2://<host>:<port>

10. Mysql

10.1.启动Shell

mysql -u<user> -p<password>

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏分布式系统和大数据处理

配置Hive使用MySql存储元数据

默认情况下,Hive会使用Derby来存储元数据(主要是表、列、分区Partition的信息)。Derby是一个嵌入式的本地数据库,只能单进程进行访问,不允许多...

23750
来自专栏Hadoop实操

06-如何为Impala集成AD认证

Fayson在前面的文章《01-如何在Window Server 2012 R2搭建Acitve Directory域服务》、《02-Active Direct...

20520
来自专栏Hadoop实操

如何为Hive2启用Kerberos认证

39120
来自专栏Hadoop实操

4.如何为Hive集成RedHat7的OpenLDAP认证

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproje...

45380
来自专栏蓝天

配置HDFS HttpFS和WebHDFS

默认启动WebHDFS而不会启动HttpFS,而HttpFS需要通过sbin/httpfs.sh来启动。

16130
来自专栏加米谷大数据

编译及调试 Hadoop 源代码

Hadoop 在伪分布式模式下的编译和调试方法,其中,调试方法主要介绍使用 Eclipse 远程调试和打印调试日志两种。 编译 Hadoop 源代码 在 Win...

44660
来自专栏pangguoming

CentOS 7安装Hadoop 3.0.0

最近在学习大数据,需要安装Hadoop,自己弄了好久,最后终于弄好了。网上也有很多文章关于安装Hadoop的,但总会遇到一些问题,所以把在CentOS 7安装H...

444100
来自专栏码字搬砖

CDH集成Kafka

1.离线 先下载相应版本的kafka http://archive.cloudera.com/kafka/parcels/ 然后放置相应目录,如下图...

33520
来自专栏Hadoop实操

如何在退出Hue后关闭Spark会话

Hive配置了Spark作为默认执行引擎,在通过Hue执行Hive查询后,退出Hue后Spark的Session并为随着Hue的退出而关闭,操作如下:

33130
来自专栏有困难要上,没有困难创造困难也要上!

Hadoop3-分布式模式安装

30950

扫码关注云+社区

领取腾讯云代金券