前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据常用组件默认端口号

大数据常用组件默认端口号

作者头像
张子阳
发布2018-09-30 09:50:51
2.3K0
发布2018-09-30 09:50:51
举报
文章被收录于专栏:分布式系统和大数据处理

大数据常用组件默认端口号

2018-8-13 作者: 张子阳 分类: 大数据处理

.colspan{ background:#f4f4f4; font-weight: bold;}

一般来说,Hadoop集群是运行在内网中的,并不开放外网访问,然后通过一个gateway机器作为集群的客户端来提交作业,或者管理集群。此时,内网应当是互通的;如果内网仍需要开启防火墙,那么就需要将Hadoop所用到的端口号加入到防火墙的例外当中。

这篇文章列举了Hadoop生态系统下常用大数据组件的默认端口号,包括 HDFS、YARN、MapReduce、Hive、Spark、Zookeeper、Kakfa,其他的例如HBase、Sqoop等以后用到的时候再新增吧。

端口

配置项

说明

Hadoop HDFS

8020

fs.defaultFS

hdfs:// 连接

50090

dfs.namenode.secondary.http-address

50091

dfs.namenode.secondary.https-address

50010

dfs.datanode.address

50075

dfs.datanode.http.address

WebUI

50020

dfs.datanode.ipc.address

50070

dfs.namenode.http-address

50475

dfs.datanode.https.address

50470

dfs.namenode.https-address

50100

dfs.namenode.backup.address

50105

dfs.namenode.backup.http-address

8485

dfs.journalnode.rpc-address

8480

dfs.journalnode.http-address

8481

dfs.journalnode.https-address

8019

dfs.ha.zkfc.port

Hadoop YARN

8032

yarn.resourcemanager.address

8030

yarn.resourcemanager.scheduler.address

8088

yarn.resourcemanager.webapp.address

WebUI

8090

yarn.resourcemanager.webapp.https.address

8031

yarn.resourcemanager.resource-tracker.address

8033

yarn.resourcemanager.admin.address

8044

yarn.nodemanager.webapp.https.address

8047

yarn.sharedcache.admin.address

8788

yarn.sharedcache.webapp.address

8046

yarn.sharedcache.uploader.server.address

8045

yarn.sharedcache.client-server.address

8049

yarn.nodemanager.amrmproxy.address

8089

yarn.router.webapp.address

8091

yarn.router.webapp.https.address

Hadoop MapReduce

10020

mapreduce.jobhistory.address

19888

mapreduce.jobhistory.webapp.address

19890

mapreduce.jobhistory.webapp.https.address

Hive

9083

metastore

10000

thrift

Zookeeper

2181

/etc/zookeeper/conf/zoo.cfg clientPort

客户端连接端口

2888

server.x

follower连接到leader的端口

3888

server.x

leader选举时的端口

Spark

8080

spark.master.ui.port

Master WebUI

8081

spark.worker.ui.port

Worker WebUI

18080

spark.history.ui.port

History server WebUI

7077

SPARK_MASTER_PORT

Master port

6066

spark.master.rest.port

Master REST port

4040

spark.ui.port

Driver WebUI

Kafka

9092

server.properties

客户端连接

感谢阅读,希望这篇文章能给你带来帮助!

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-8-13,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 大数据常用组件默认端口号
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档