我已经在两台机器上设置了hadoop集群。一台机器同时具有主和从-1。第二台机器有slave-2。当我使用start-all.sh
启动集群时,我在secondarynamenode
的.out
文件中得到以下错误:
java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "ip-10-179-185-169/10.179.185.169"; destination host is: "hadoop-master":9000;
以下是我的JPS输出
98366 Jps
96704 DataNode
97284 NodeManager
97148 ResourceManager
96919 SecondaryNameNode
有人能帮我解决这个错误吗?
发布于 2018-12-05 11:31:36
我也有这个问题。
请查看core-site.xml
(这应该在你下载Hadoop的目录下,对我来说路径是:/home/algo/hadoop/etc/hadoop/core-site.xml
)
该文件应如下所示:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/algo/hdfs/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
解决方案:使用hdfs://localhost:9000
作为ip:port
。
发布于 2020-03-16 15:43:37
您正在使用的端口号可能有问题。试试这个:https://stackoverflow.com/a/60701948/8504709
https://stackoverflow.com/questions/44724663
复制相似问题