大数据常用组件默认端口号

张子阳

发布于 2018-09-30 09:50:51

2.3K0

发布于 2018-09-30 09:50:51

文章被收录于专栏：分布式系统和大数据处理

大数据常用组件默认端口号

2018-8-13 作者: 张子阳分类: 大数据处理

.colspan{ background:#f4f4f4; font-weight: bold;}

一般来说，Hadoop集群是运行在内网中的，并不开放外网访问，然后通过一个gateway机器作为集群的客户端来提交作业，或者管理集群。此时，内网应当是互通的；如果内网仍需要开启防火墙，那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。

这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号，包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa，其他的例如HBase、Sqoop等以后用到的时候再新增吧。

端口	配置项	说明
Hadoop HDFS
8020	fs.defaultFS	hdfs:// 连接
50090	dfs.namenode.secondary.http-address
50091	dfs.namenode.secondary.https-address
50010	dfs.datanode.address
50075	dfs.datanode.http.address	WebUI
50020	dfs.datanode.ipc.address
50070	dfs.namenode.http-address
50475	dfs.datanode.https.address
50470	dfs.namenode.https-address
50100	dfs.namenode.backup.address
50105	dfs.namenode.backup.http-address
8485	dfs.journalnode.rpc-address
8480	dfs.journalnode.http-address
8481	dfs.journalnode.https-address
8019	dfs.ha.zkfc.port
Hadoop YARN
8032	yarn.resourcemanager.address
8030	yarn.resourcemanager.scheduler.address
8088	yarn.resourcemanager.webapp.address	WebUI
8090	yarn.resourcemanager.webapp.https.address
8031	yarn.resourcemanager.resource-tracker.address
8033	yarn.resourcemanager.admin.address
8044	yarn.nodemanager.webapp.https.address
8047	yarn.sharedcache.admin.address
8788	yarn.sharedcache.webapp.address
8046	yarn.sharedcache.uploader.server.address
8045	yarn.sharedcache.client-server.address
8049	yarn.nodemanager.amrmproxy.address
8089	yarn.router.webapp.address
8091	yarn.router.webapp.https.address
Hadoop MapReduce
10020	mapreduce.jobhistory.address
19888	mapreduce.jobhistory.webapp.address
19890	mapreduce.jobhistory.webapp.https.address
Hive
9083	metastore
10000	thrift
Zookeeper
2181	/etc/zookeeper/conf/zoo.cfg clientPort	客户端连接端口
2888	server.x	follower连接到leader的端口
3888	server.x	leader选举时的端口
Spark
8080	spark.master.ui.port	Master WebUI
8081	spark.worker.ui.port	Worker WebUI
18080	spark.history.ui.port	History server WebUI
7077	SPARK_MASTER_PORT	Master port
6066	spark.master.rest.port	Master REST port
4040	spark.ui.port	Driver WebUI
Kafka
9092	server.properties	客户端连接