Hadoop fs copy命令？

文章/答案/技术大牛

发布

1回答

hadoop、hdfs

我得到的信息是这样的： hadoop fs -mkdir one/two/three/dir1_bkp hadoop fs -cp one/two/three/dir1/* one/two/three/

浏览 28提问于2021-01-18得票数 1

2回答

将文件从Hdfs拷贝到Hdfs scala

scala、apache-spark、hdfs

有没有一种已知的方法可以使用Hadoop api / spark scala在Hdfs上将文件从一个目录复制到另一个目录？我试过使用copyFromLocalFile，但没有用

浏览 84提问于2019-07-04得票数 0

1回答

使用scala API，如何将一个HDFS位置的所有文件复制到另一个HDFS位置

scala、apache-spark、hadoop

hdfs-default.xml, hdfs-site.xml hdfs: org.apache.hadoop.fs.FileSystemINTERNAL.IMSGLOBAL.COM (auth:KERBEROS)]] srcPath: org.apache.hadoop.fs.Path-abce

浏览 0提问于2021-05-07得票数 0

2回答

两个文件的Hadoop Put命令

hdfs

可以使用以下命令将名为records.txt的文件从本地复制到HDFS通过使用上面的命令，文件records.txt将以相同的名称复制到HDFS中。但是我想将两个文件(records1.txt和demo.txt)存储到HDFS中hadoop dfs -put

浏览 1提问于2015-03-08得票数 3

回答已采纳

1回答

如何获得在运行hadoop命令时调用的Java类的列表？

hadoop、hadoop2

如果我们提交这样的命令，是否有任何命令可以找到调用的所有java类： hdfs dfs –copyFromLocal data.txt /tmp

浏览 1提问于2016-06-13得票数 0

回答已采纳

2回答

HDFS copyToLocalFile抛出java.io.IOException: Mkdirs创建文件失败

java、hdfs

我试图使用Hadoop FileSystem类将文件从HDFS复制到linux文件系统。我在纱线集群上运行这个。:428) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:908)

浏览 6提问于2016-01-13得票数 4

1回答

无法从Java执行hadoop -put命令

java、hadoop

我正在尝试从Java代码执行hadoop fs -put <source> <destination>。当我直接从终端执行这个命令时，它工作得很好，但是当我试图从Java代码中执行这个命令时，我会使用 String[] str = {"/usr/bin/hadoop","fs -put", source,我尝试执行一些非hadoop命令，如ls、mkdir<e

浏览 0提问于2014-10-27得票数 1

回答已采纳

1回答

使用通配符的Hadoop fs test命令

hadoop、hdfs

我正在尝试使用以下命令： hadoop fs -test -e /user/foo/bar/abc* 但它的抛出错误： test: `/user/foo/bar/abc*': No such fileor directory 根据下面的问题，我尝试使用双引号和单引号，但仍然存在相同的问题：Hadoop HDFS copy with wildcards?hadoop fs -tes

浏览 32提问于2019-01-24得票数 0

1回答

pyspark脚本中的HDFS命令

apache-spark、hadoop、pyspark、hdfs

我已经浏览了许多在线文档和答案，但是我找不到一种方法来使用pyspark复制文件夹和文件，或者使用pyspark执行hdfs命令(特别是复制文件夹和文件)。hadoop = sc._jvm.org.apache.hadoopFileSystem = hadoop.fs.FileSystemfs = F

浏览 1提问于2022-05-10得票数 0

1回答

Hbase SnapShot问题

hbase、snapshot

当我尝试切换到另一个hbase-0.94.8伪分布式模式时(命令如下所述) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66)

浏览 0提问于2015-01-02得票数 0

1回答

为什么是HDFS FileNotFoundException:文件不存在？

java、hadoop、apache-flink

(DistributedFileSystem.java:1301) at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:337) at org.apache.hadoop.fs.FileUtil.copy(Fil

浏览 195提问于2021-06-24得票数 2

1回答

java.lang.IllegalArgumentException:错误的FS

hadoop、oozie

</description></configuration>使用以下命令在HDFS中创建Sharelib目录 at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:644) at org.apache.hadoop.hdfs.DistributedFileSystem.getPathNamea

浏览 0提问于2019-08-03得票数 1

2回答

需要对Hadoop教程中使用的命令进行解释。

hadoop、mapreduce、hdfs

最近我刚开始研究Hadoop，我只是做了一个实验来真正理解它。下面是教程：，我想问的是，在我基于本教程遇到几个命令之后，计算机系统中发生的后台进程是什么，例如 hadoop c：\Hwork\recipeitems latest.json

浏览 1提问于2015-01-24得票数 0

1回答

如何使用spark将文件从本地复制到s3，作为具有给定名称的单个文件？

scala、apache-spark

我正在寻找将文件从本地文件系统移动到具有给定fileName的spark apis的s3的方法。下面是用Part000创建文件。如何避免这种情况？ df.coalesce(1).write.mode("Overwrite")

浏览 0提问于2021-03-08得票数 0

5回答

在apache中读取或复制hdfs时的校验和异常

apache、hadoop、mapreduce

我还尝试过来自终端的hadoop命令，其结果与通过java代码执行时的行为完全相同。name@ubuntu:~/Desktop/hadoop2$ bin/hadoop fs -copyFromLocal ~/Desktopat org.apache.hadoop.<e

浏览 29提问于2013-03-15得票数 24

回答已采纳

1回答

运行openTSDB时出错

hbase、opentsdb

按照openTSDB指南设置一个集群hbase：env COMPRESSION=NONE HBASE_HOME=path/to/hbase(FileUtil.java:359) atorg.apache.hadoop.fs.FileUtil.copy(

浏览 0提问于2014-09-08得票数 2

1回答

上载非常大的文件时EMR失败

apache-spark、emr、amazon-emr

(MultipartUploadOutputStream.java:394) at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:366) at org.apache.hadoop.fs.FileUtil.copy(F

浏览 0提问于2016-12-23得票数 0

2回答

Hadoop access HDFS

hadoop、hdfs

我已经安装了hadoop，我不能使用-copyFromLocal，它的响应copyFromLocal': No such file or directory[root@hadoop-master ~]# hadoop fs -mkdir dir mkdir:`dir': No such f

浏览 5提问于2014-08-31得票数 1

回答已采纳

3回答

HADOOP -将文本文件复制到HDFS中的问题

hadoop、mapreduce、hdfs、word-count

我正在按照突出的实现Hadoop单节点集群。集群正在工作，通过jps检查显示所有组件在执行start-all.sh后都在运行。然后按照教程中的指示启动Hadoop集群，然后执行以下操作： hduser@ubuntu:~$ hadoop$ bin/hadoop fs -mkdir -p /user/hdu

浏览 2提问于2015-05-07得票数 1

回答已采纳

1回答

"$HADOOP_HOME/bin/hadoop日志“命令无效

hadoop

我有一个节点集群设置，使用hadoop 2.4.0。当我执行死刑时：它给出了这个错误：2015-09-25 21:18:26,514 INFO org.apache.hadoop.metrics2/

浏览 1提问于2015-09-26得票数 0

回答已采纳

点击加载更多