无法远程访问hdfs

文章/答案/技术大牛

发布

1回答

hadoop、hdfs

我让hdfs (namenode、secodnarynamenode和datanode)在一台机器上运行。当我在同一台机器上运行它们时，我能够执行像'put‘这样的hdfs操作，但是它不能远程工作，尽管像'ls’这样的其他操作可以很好地工作。我认为我的远程hdfs客户端能够连接到namenode，但不能连接到datanode。Namenode web控制台显示有一个datanode在本地主机上运行，这可能是问题所在-它应该绑定到ip地址，以便我的htfs客户端可以访问

浏览 29提问于2016-09-11得票数 0

1回答

如何将文件从HDFS复制到远程HDFS

hadoop、hdfs

我希望将文件从Hadoop集群复制到远程集群。我知道远程名称节点的IP和端口。hadoop -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file 但是，如果不配置hadoop_conf_dir，则不知道远程名

浏览 1提问于2018-04-20得票数 0

回答已采纳

1回答

在不安全的纱线集群中运行星火时访问安全蜂巢

hadoop、apache-spark、hadoop-yarn

在访问存储在安全群集中的蜂窝表时，是否可以使用不安全的纱线集群运行Spark？(火花版本为1.6)更新：我想解释一下我问题背后的最终目标。我们的主安全集群被大量利用，我们的作业无法在合理的时间内获得足够的资源来完成。为了克服这一问题，我们希望使用来自另一个不安全集群的资源--我们有，而不需要在集群之间复制数据。请告诉我，如果你有任何其他的解决方案，因为似乎我们无法实现上述目标。

浏览 2提问于2017-03-07得票数 3

回答已采纳

2回答

将文件从本地文件系统复制到Hadoop中的HDFS时出错

hadoop、local、hdfs、copying

我正在使用hadoop处理文件，目前我正在尝试使用以下命令将文件从本地文件系统复制到HDFS得到的错误如下k(FSNamesystem.java:1557)(DFSClient.java:35

浏览 3提问于2012-12-03得票数 1

1回答

如何在HDFS上部署和运行Samza作业？

hadoop、hdfs、apache-samza

我想让Samza作业在远程系统上运行，Samza作业存储在HDFS上。在煤机上运行Samza作业的示例()涉及构建一个tar文件，然后解压缩tar文件，然后运行位于tar文件中的shell脚本。这里的HDFS示例完全没有详细说明()。它说要将tar文件复制到HDFS，然后遵循非HDFS示例中的其他步骤。这意味着，现在驻留在HDFS上的tar文件需要在HDFS中解压缩，然后在该解压缩的tar文件上运行一个shell脚本。但是您不能用hadoop fs shell解压缩<e

浏览 3提问于2015-10-28得票数 0

回答已采纳

1回答

从远程linux服务器向Hadoop HDFS传输文件

unix、hadoop、hdfs

我需要将文件从远程Linux服务器直接传输到HDFS。我在远程服务器上放置了keytab，在kinit命令激活后，我无法浏览HDFS文件夹。我知道从边缘节点我可以直接将文件复制到HDFS，但是我需要跳过边缘节点，直接将文件传输到HDFS。我们怎样才能做到这一点。

浏览 1提问于2018-09-26得票数 0

2回答

在JAVA中可以运行HADOOP并将文件从本地fs复制到HDFS，但不需要在文件系统上安装Hadoop吗？

java、linux、maven、hadoop

我希望运行hadoop并将文件从local file system复制到HDFS，而无需在我的Linux文件系统上安装hadoop。Configuration configuration = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs/part-m-00000"), new Path("hdfs://192.168.1.170:54310/user/h

浏览 8提问于2015-04-24得票数 1

回答已采纳

2回答

如何将数据加载到来自远程HDFS的spark中？

apache-spark、hadoop、hdfs

我们的数据存储在远程Hadoop集群中，但是为了执行某些PoC，我需要在我的机器上本地运行spark应用程序。如何从远程HDFS加载数据？

浏览 12提问于2022-04-22得票数 -3

2回答

使用SSH从Java应用程序连接到Hadoop

java、scala、hadoop、ssh、hdfs

我正在尝试连接到远程hadoop集群，仅通过HDFS无法访问该集群。我尝试做的是使用HDFS客户端从我的Scala/Java应用程序访问文件。现在我感觉就像在黑客帝国中-“我必须走得更深”，而不知道如何到达服务器。任何想法都将被感谢，谢谢！

浏览 0提问于2013-03-15得票数 1

回答已采纳

1回答

AWS EMR:主节点是否将hdfs数据存储在EMR集群中？

amazon-web-services、amazon-emr

主节点-此节点是否将hdfs数据存储在aws emr集群中？任务节点-如果此节点不存储hdfs数据，它是否纯粹是计算节点？在这种情况下，hadoop会传输到任务节点吗？

浏览 8提问于2022-03-28得票数 0

回答已采纳

1回答

具有多个名称节点的远程文件系统上的hdfs dfs -ls？

hadoop、hdfs

在远程系统中，我希望看到这个系统的文件和目录。如果nnA是主namenode，我可以执行HDFSDFS-Dfs.defaultFS= hdfs ://nnA -ls /path/to/ nnB，如果nnB是主namenode，则nnB-DFS-Dfs.defaultfs= hdfs ://nnB -ls /path/to/file 如果我使用的namenode恰好是当时的主命令，这两个命令都可以正常工作。从远程系统中，我<e

浏览 2提问于2020-02-20得票数 0

回答已采纳

3回答

Spark是否支持从主节点或工作节点访问数据？

apache-spark、rdd

因为我正在访问一个远程集群，并且我的输入数据量很大，无法登录到远程集群。我不是在找S3或HDFS。如果有其他选择，请提出建议。

浏览 3提问于2015-10-02得票数 1

1回答

hadoop如果我使用-files命令行选项，如何在映射器中获取分发缓存文件

hadoop、mapreduce

我使用以下命令从远程计算机( windows )运行hadoop map red作业Path[] cacheFiles = DistributedCache.getLocalCacheFiles(conf); fileName =此外，我尝试手动将junk

浏览 2提问于2013-10-25得票数 1

1回答

是否可以写入远程HDFS？

hadoop、hdfs

作为标题，是否可以写入远程HDFS？例如，我已经在AWS EC2上安装了HDFS集群，并且我想将文件从我的本地计算机写入HDFS集群。

浏览 6提问于2015-09-29得票数 4

回答已采纳

1回答

MAPR群集上的HDFS目录

hdfs、mapr

我需要将我的Spark流检查点文件保存在HDFS目录中。我可以访问安装了MAPR的远程集群。是opt/mapr/..吗？

浏览 10提问于2016-08-19得票数 0

1回答

团簇(纱线)模式下火花放电的Kerberos问题

scala、apache-spark、hadoop-yarn、kerberos

我正在使用带有Kerberos身份验证的Spark。本地模式-我现在正在使用纱线以群集模式运行。spa

浏览 5提问于2016-12-05得票数 3

回答已采纳

1回答

Hadoop/Hive :在远程计算机上从.csv加载数据

csv、hadoop、hive、hiveql

我有一个csv文件，可以从一个http网址。有什么办法我可以从那里装载它吗？LOAD DATA INPATH 'http://192.168.56.101:8081/TeamHalf.csv' OVERWRITE INTO TABLE csvdata;

浏览 0提问于2014-06-26得票数 2

回答已采纳

3回答

sparklyr将数据写入hdfs或配置单元

sparklyr

我尝试使用sparklyr将数据写入hdfs或hive，但无法找到方法。是否有可能使用sparklyr将R数据帧写入hdfs或hive？请注意，我的R和hadoop运行在两个不同的服务器上，因此我需要一种从R写入远程hdfs的方法。向Rahul致敬

浏览 16提问于2017-06-28得票数 6

1回答

将本地HDFS文件系统浏览器与IntelliJ IDEA集成

hadoop、intellij-idea、filesystems、remote-access

我使用我所在大学的HDFS集群研究了MapReduce范例，并通过色调访问它。从色调上看，我可以浏览文件，阅读/编辑它们等等。所以在这个集群中，我需要：我非常喜欢编写MapReduce应用程序，因此我已经正确地将本地HDFS配置为个人游乐场，但目前我只能访问它，这确实是浪费时间的命令行(如)。通过SFTP远程主机连接，我可以“直接”访问我彻底的I

浏览 2提问于2018-01-22得票数 0

回答已采纳

2回答