将文件从Hdfs拷贝到Hdfs scala

文章/答案/技术大牛

发布

2回答

scala、apache-spark、hdfs

有没有一种已知的方法可以使用Hadoop api / spark scala在Hdfs上将文件从一个目录复制到另一个目录？我试过使用copyFromLocalFile，但没有用

浏览 84提问于2019-07-04得票数 0

2回答

如何将文件从远程服务器复制到HDFS

hadoop、hdfs、scp、rhel

我想将文件从远程服务器拷贝到Hadoop计算机，再拷贝到HDFS 请建议使用有效的方法/ HDFS命令将文件从远程服务器复制到HDFS。任何一个例子都会很有帮助。通常将文件从远程服务器复制到服务器本身的方法是 scp -rp file remote_server:/tmp 但是这种方法不支持直接拷贝到hdfs

浏览 48提问于2020-07-07得票数 1

1回答

将外部配置单元表从一个虚拟机导出到另一个虚拟机

hive

我试过了：将配置单元表的数据转储到CSV文件中，并在舞台上将其加载到托管配置单元表中。但是数据具有日语字符(非UTF8)，导致在阶段w.r.t上有更高的行数。

浏览 1提问于2018-01-30得票数 1

3回答

第一个hadoop项目错误：“输入路径不存在”

hadoop

当我使用以下代码指定In文件夹时：我收到这个错误： 13/03/03 22:05:27 ERRORPriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/use

浏览 1提问于2013-03-04得票数 12

回答已采纳

3回答

“本地文件系统”是什么意思？

hadoop、hadoop2

我目前正在阅读关于hadoop的文章，这让我感到困惑(请记住，当涉及到hadoop时，我完全是新手)-$ hadoop hdfs dfs-get file_name /user/login_user_name 什么是本地文件系统？我知道HDFS在整个集群中将文件划分为不同的块(但我知道还有更多)。我对上述命令的理解是，我可以<em

浏览 3提问于2017-03-22得票数 0

3回答

将整个HDFS从一个群集转移到另一个群集

hadoop、hive

在一个有5个节点的测试集群上，我的HDFS中存储了大量的hive表。数据应在70 Gb *3左右(复制)。不，我想将整个设置转移到具有更多节点的不同环境中。无法在两个群集之间建立网络连接。是否可以仅将5个节点的hdfs目录复制到新群集的5个节点，然后将其余节点添加到新群集并启动平衡器？

浏览 3提问于2013-01-11得票数 1

回答已采纳

1回答

高1.4x大型固态硬盘EC2实例，用于电子病历

hadoop、amazon-s3、amazon-ec2、solid-state-drive、emr

其中一些作业需要处理日志文件。日志文件很大，每个文件都是.gz格式的，大约3 3GB。日志存储在S3上。我的计划是使用新的基于hi1.4xlarge的固态硬盘，因为它有快速的I/O，而不是m1.xlarge。但它会有助于降低成本吗？

浏览 0提问于2012-10-11得票数 0

1回答

我需要把我的java代码转换成JAR文件然后执行吗？

java、hadoop、cluster-computing

我是否需要将Java代码转换为JAR文件，然后执行？

浏览 1提问于2016-11-13得票数 1

1回答

在Scala中从HDFS加载XML文件

scala

我想使用XML Scala API从HDFS加载一个XML文件。我正在尝试，如下所示，但它无法识别路径。有人能告诉我如何使用Scala从HDFS加载文件吗？ import scala.xml.{NodeSeq, XML} val xml_load = XML.loadFile("hdfs:////user/np.user/raw/xml

浏览 13提问于2019-05-17得票数 0

回答已采纳

1回答

Hadoop Crontab Put

bash、hadoop、hdfs、crontab

我试着用crontab编程一个简单的任务，把一些文件从本地复制到HDFS。我的代码是：此外，脚本创建了一个"logFile“，其中包含应该执行的命令。当我把它们拷贝到终点站

浏览 0提问于2015-12-10得票数 1

1回答

删除spark-structured-streaming写入的损坏拼接文件时会丢失数据吗？

scala、apache-kafka、parquet、spark-structured-streaming

我使用spark-structured-streaming作为消费者从kafka获取数据，按照指南参考https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html然后将数据保存到hdfs作为拼图文件。这是我的问题:程序运行良好，但一些容器很少失败(但它确实发生了)，导致了一些损坏的拼接文件。它将导致错误，如不是拼图文件(长度太小: 4)或[

浏览 20提问于2019-05-25得票数 0

2回答

错误:路径在使用hadoop的spark提交中不存在

apache-spark、hadoop、cluster-computing、hadoop-yarn、spark-submit

spark-submit --master yarn --deploy-mode cluster --class "SimpleApp" /home/ubuntu/spark/examples/src/main/scala/sbt/target/scala-2.11/teste_2.11-1.0.jar来运行下面的脚本import org.apache

浏览 82提问于2018-06-07得票数 1

回答已采纳

1回答

Spark Streaming :通过从一个HDFSdir读取到另一个来将数据写入到HDFS

scala、apache-spark、hadoop、hdfs

我正在尝试使用火花流将数据从一个HDFS位置读取到另一个HDFS位置下面是我在spark-shell上的代码片段但是我看不到在HDFS输出目录上创建的文件，您能否指出如何在HDFS上加载这些文件scala> sc.stop() scala> import org.apache.spark.streami

浏览 12提问于2018-12-21得票数 1

回答已采纳

1回答

从scala脚本内部执行hdfs命令

scala、apache-spark、hadoop

我正在尝试从Spark在集群模式下执行的scala脚本内部执行一个特定于HDFS的命令。在命令下面： val cmd = Seq("hdfs","dfs","-copyToLocal","/tmp/file.dat","/path/to/local") val result = cmd.!java.lang.reflect.Constructor.newInstance(Co

浏览 60提问于2019-06-03得票数 1

1回答

Hadoop - copyFromLocal内部工作流程？

hadoop、hdfs

当我们发出像copyFromLocal或put这样的命令来将数据从客户端拷贝到HDFS时，这个过程实际上是如何工作的？我在HDFS架构中读到，客户端将与Namenode联系以获取datanode列表，然后进行连接并传输数据。有没有其他方法或任何方法可以让它更快？

浏览 1提问于2012-10-15得票数 0

2回答

如何在星火RDD中创建分区

apache-spark

假设我正在使用spark(scala)从HDFS读取一个文件。HDFS块大小为64 MB。我想知道在基RDD中创建了多少分区。scala> val distFile = sc.textFile("hdfs://user/cloudera/data.txt")在上述情况下，编号。

浏览 1提问于2016-05-10得票数 1

回答已采纳

1回答

使用Scala将文件写入HDFS

scala、hadoop、hdfs

我试图使用将一个文件写入HDFS，在客户端和hadoop日志上获得以下错误： def write(uri: String, filePath: String, data: Array[Byte]) = { Syst

浏览 0提问于2018-03-19得票数 2

1回答

使用Scala从HDFS读取数据

scala、hdfs

我是Scala的新手。如何使用Scala (不使用Spark)从HDFS读取文件？当我在谷歌上搜索它时，我只找到了写入HDFS的选项。String]) = x.foldLeft("")((a,b) => a + b) println( "Trying to write to HDFS..." )

浏览 4提问于2017-01-11得票数 11

1回答

将hdfs文件加载到spark上下文中

scala、file、hadoop、apache-spark、hadoop2

我是新的星火/scala，需要从hdfs加载一个文件来启动。我在hdfs (/newhdfs/abc.txt)中有一个文件，我可以通过使用hdfs dfs -cat /newhdfs/abc.txt查看我的文件内容 sc

浏览 3提问于2016-09-30得票数 2

回答已采纳

1回答

在s3上使用弹性MapReduce

amazon-web-services、amazon-s3、emr

EMR是否会将整个1TB数据拷贝到复制因子为3的衍生虚拟机(如果我的rf = 3)？如果是，亚马逊将数据从S3复制到MapReduce集群是否收费？另外，是否可以对不在s3中的数据使用电子病历？

浏览 0提问于2014-12-01得票数 0

点击加载更多