Hadoop常见组件启动方式汇总(持续更新....)
Hadoop常见组件启动方式汇总(持续更新....)
接触过大数据领域的朋友都知道，Hadoop生态系统十分的庞大，许多组件启动的方式也是不尽相同，今天博主抽空整理了一下大数据生态圈中常见组件的启动方式，也算是为自己巩固了一下基础吧~
申明:博主所有Hadoop的组件都是安装在/export/servers/目录下的，大家在借鉴操作的时候需依自己组件的安装位置为准…
在开始之前，博主先把所有的进程全部关闭之后，并执行xcall jps确保每台集群只有初始的进程~
<1> HDFS和YARN
cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin/
开启HDFS
start-dfs.sh
开启Yarn
sbin/start-yarn.sh
也可以使用集群自带的一键启动脚本
start-all.sh
启动后主节点正常的集群状态:
46677 Jps
45574 NameNode
45707 DataNode
45868 SecondaryNameNode
46012 ResourceManager
46111 NodeManager从节点:
[root@node02 bin]# jps
87414 DataNode
87526 NodeManager
88095 Jps<2> Hive
cd /export/servers/hive-1.1.0-cdh5.14.0/
启动hive服务
bin/hive --service metastore &
开启远程连接
hive --service hiveserver2 &
<3>Zookeeper
cd /export/servers/zookeeper-3.4.5-cdh5.14.0/bin/
一键启动
zk_startall.sh
一键关闭
zk_stopall.sh
关于一键启动和关闭的脚本，参考《关于Zookeeper一键启动/关闭脚所产生的乌龙事件》
启动完毕之后各节点都多了如下进程:
48051 QuorumPeerMain<4> HBase
cd /export/servers/hbase-1.2.0-cdh5.14.0/bin
开启Hbase
start-hbase.sh
关闭HBase
stop-hbase.sh
<5> Hue
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor
查看HBase需要单独开启thrif进程
hbase-daemon.sh start thrift
<6>Spark
开启Spark
cd /export/servers/spark/sbin/
start-all.sh
关闭Spark
stop-all.sh
<7> Azkaban
cd azkaban-solo-server-0.1.0-SNAPSHOT/
开启Azkaban
bin/start-solo.sh
<8> Phoenix
cd /export/servers/phoenix/bin
开启连接
./sqlline.py node01:2181
<9>Kafka
在kafka启动前，一定要让zookeeper启动起来。
然后在每台节点执行以下命令以启动Kafka集群
cd /export/servers/kafka_2.11-1.0.0
nohup bin/kafka-server-start.sh config/server.properties 2>&1 &
关闭Kafka集群
每台机器也可以执行以下命令停止kafka集群
cd /export/servers/kafka_2.11-1.0.0
bin/kafka-server-stop.sh
这样的启动和关闭的方式需要在集群上重复大量的重复命令，故可以采取脚本的形式管理Kafka集群。 详情请见《超好用的Kafka集群启动，关闭脚本》
<…> 其他
Hadoop的JobHistory
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
开启JobHistory进程
sbin/mr-jobhistory-daemon.sh start historyserver
好了，本次的分享就到这里~还有好多组件在这里还未贴出来,后续会持续更新，敬请期待|ू･ω･` )