我已经用3台机器建立了一个小型Hadoop集群:
机器(Hadoop1)同时运行NameNode和Jobtracker。
机器(Hadoop2)正在运行SecondaryNameNode
机器(Hadoop3)正在运行DataNode和TaskTracker
当我检查日志文件时,每件事都很正常。但是,当我试图通过在机器SecondaryNameNode上键入localhost:50090来检查Hadoop2的工作状态时,它会显示:
Unable to connect ....can't establish a connection to the server at
我是hadoop的新手,试图在windows中创建一个独立的hadoop集群。启动name节点时,我会得到一个错误,如下所示。但是,在使用端口50070为进程签入windows时,我找不到任何进程。
Hadoop错误:
20/04/18 08:32:24 ERROR namenode.NameNode: Failed to start namenode.
java.net.BindException: Port in use: 0.0.0.0:50070
at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer
我正在使用Tika库来解析存储在Hadoop集群中的文档。
我使用的代码如下:
import tika
import urllib3
from tika import parser
data = parser.from_file("hdfs://localhost:50070/user/sample.txt")
在linux上,如果我给出一个本地路径,tika可以解析,但是对于hdfs路径,我得到一个
Spark I/O error: No such file or directory.
任何线索/替代方案都会很有帮助。
我试图在openstack上的VM上安装pluxio1.2,并使用spark和hdfs,但是安装不起作用。Spark和hdfs已经在安装和工作。
ERROR logger.type (AlluxioMaster.java:main) - Uncaught exception while running Alluxio master, stopping it and exiting.
java.lang.RuntimeException: java.net.BindException: Address already in use
at com.google.common
我尝试使用下面的列表来列出我在hdfs中的目录:
ubuntu@ubuntu:~$ hadoop fs -ls hdfs://127.0.0.1:50075/
ls: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException:
Protocol message end-group tag did not match expected tag.;
Host Details : local host is: "ubuntu/127.0.0.1"; destination h