怎样查看hadoop的端口号

Hadoop是一个分布式计算框架，用于处理大规模数据集。它包含多个组件，每个组件都有其默认端口号。以下是一些主要Hadoop组件的默认端口号及其用途：

1. HDFS (Hadoop Distributed File System)

• NameNode: 默认端口是50070（HTTP）和8020（RPC）。
• DataNode: 默认端口是50010（数据传输）、50020（RPC）和50075（HTTP）。

2. YARN (Yet Another Resource Negotiator)

• ResourceManager: 默认端口是8088（HTTP）和8032（RPC）。
• NodeManager: 默认端口是8042（HTTP）。

3. MapReduce JobHistory Server

• 默认端口是19888。

查看端口号的方法

方法一：使用命令行工具

你可以使用netstat或ss命令来查看当前正在使用的端口号。

# 使用 netstat
netstat -tuln | grep hadoop

# 使用 ss
ss -tuln | grep hadoop

方法二：查看配置文件

Hadoop的配置文件通常位于/etc/hadoop/conf目录下。你可以查看以下文件来确认端口号设置：

• core-site.xml：包含HDFS的配置。
• hdfs-site.xml：包含NameNode和DataNode的具体配置。
• yarn-site.xml：包含YARN的配置。

例如，在core-site.xml中查找fs.defaultFS属性，它通常指向NameNode的RPC端口。

方法三：使用Hadoop自带的Web界面

Hadoop提供了Web界面来监控和管理集群。

• 访问http://<namenode-host>:50070查看NameNode的状态。
• 访问http://<resourcemanager-host>:8088查看YARN的资源使用情况。

注意事项

• 确保Hadoop服务已经正确启动。
• 如果更改了默认端口，需要在配置文件中查找新的端口号。
• 防火墙可能会阻止对这些端口的访问，确保防火墙规则允许相应的流量。

示例代码

如果你想要通过编程方式获取Hadoop端口号，可以使用Hadoop的Java API。以下是一个简单的示例：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.hdfs.DistributedFileSystem;

public class HadoopPortChecker {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        FileSystem fs = DistributedFileSystem.get(conf);
        System.out.println("NameNode RPC Port: " + fs.getUri().getPort());
    }
}

编译并运行此程序需要Hadoop的Java库在你的类路径中。

通过以上方法，你可以查看和确认Hadoop各个组件的端口号及其配置。