saveAsTextFile会创建目录吗？

saveAsTextFile方法是Spark框架中用于将RDD保存为文本文件的方法。该方法会将RDD的每个元素转换为文本行，并将这些文本行写入到指定的目录中。

saveAsTextFile方法会创建目录，但是需要注意的是，目录必须是不存在的，否则会抛出异常。如果目录已经存在，可以使用saveAsTextFile方法的重载版本saveAsTextFile(path, overwrite)来覆盖已存在的目录。

优势：

简单易用：saveAsTextFile方法提供了一种简单的方式将RDD保存为文本文件，无需复杂的配置和操作。
可读性强：保存为文本文件后，可以直接使用文本编辑器或其他工具查看和分析数据，方便人工阅读和理解。
通用性强：保存为文本文件的数据可以被多种系统和工具读取和处理，具有较好的兼容性。

应用场景：

数据导出：将处理后的数据导出为文本文件，方便进行后续的数据分析和处理。
数据备份：将重要的数据保存为文本文件，以备份和恢复使用。
数据共享：将数据保存为文本文件后，可以方便地共享给其他团队成员或其他系统使用。

腾讯云相关产品：

腾讯云提供了多个与云计算相关的产品，其中包括对象存储 COS（Cloud Object Storage）和弹性MapReduce（EMR）等。

腾讯云对象存储 COS：COS是一种高扩展性、低成本的云端对象存储服务，可以用于存储和处理大规模非结构化数据。您可以使用COS来保存saveAsTextFile方法生成的文本文件。了解更多信息，请访问：腾讯云对象存储 COS
腾讯云弹性MapReduce（EMR）：EMR是一种大数据处理和分析服务，可以帮助您快速、高效地处理和分析大规模数据。您可以使用EMR来处理和分析通过saveAsTextFile方法保存的文本文件。了解更多信息，请访问：腾讯云弹性MapReduce（EMR）

saveAsTextFile会创建目录吗？

、

如果我保存的是文本文件，而Linux机器上的目录或路径不存在，saveAsTextFile会创建目录吗？如果test1目录不存在，下面的Scala代码会创建它吗？rdd.saveAsTextFile ("file:///test1/textfile.txt");

浏览 7提问于2018-01-23得票数 0

回答已采纳

2回答

rdd.saveAsTextFile似乎不起作用，但是重复会抛出FileAlreadyExistsException

、

我正在运行dataFrame.rdd.saveAsTextFile("/home/hadoop/test")，试图将数据帧写入磁盘。执行时不会出现错误，但不会创建文件夹。此外，当我再次运行相同的命令(在shell中)时，会引发一个异常： org.apache.hadoop.mapred.FileAlreadyExistsException: Output directoryhdfs://ip-xxx-xx-xx-xx.ec2.internal:8020/home

浏览 2提问于2015-08-24得票数 3

回答已采纳

2回答

星火saveAsTextFile创建目录

、、

(a, b) -> a + b); System.out.println("Program finished");上面程序的问题是counts.saveAsTextFile("hdfs:/

浏览 6提问于2017-05-02得票数 2

回答已采纳

1回答

spark- rdd.saveAsTextFile时的java.lang.NoSuchMethodError

、、

org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:24 scala> test.saveAsTextFileorg.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile(PairRDDFunctions.scala:962) at org.apache.spark.rdd.RDD$$anonfun$saveAsTextFile$1.apply$mcV$s

浏览 1提问于2017-09-11得票数 1

1回答

如何将rdd数据保存到本地文件而不是println

、

我想使用scala打印rdd数据，如下所示现在，我想要将细节保存到本地文件，而不是println，我如何实现它？

浏览 0提问于2018-06-08得票数 1

1回答

saveAstextFile是Windows上的火花

但当我试图用我收到一个错误：但实际上，这条道路是创建的： file_out.txt\_temporary\0\_temporary\attempt_2014082113

浏览 3提问于2014-08-21得票数 1

1回答

星火RDD saveAsTextFile不使用指定的文件名。

、、

case (word, count) => word, ).mkString("\t") .coalesce(1,true)但是，myfilename.csv是作为目录在我的S3桶中创建的，文件名总是类似于myfilename.csv/part-00000有什么

浏览 2提问于2016-04-15得票数 0

回答已采纳

1回答

如何使用星星之火中的“`saveATextFile`”保存“全文to”RDD的结果？

、、、

我在HDFS中使用wholeTextFile RDD中的星火创建了许多文件，我希望能够使用问题在于它将尝试创建一个全新的目录我只想把这些结果放在一个现有的目录中。我该怎么做？谢谢。

浏览 2提问于2015-11-30得票数 1

回答已采纳

1回答

SaveAsTextFile未写入

、、、

我有一个在代码末尾输出的RDD (我已经验证了它的输出是正确的)，我试图使用.saveAsTextFile()方法将它保存为一个文本文件。代码运行到完成，并生成一个_success文件，但目录的其余部分为空。combinedTable.map(lambda x: (x[0], list(x[1][0])+x[1][1]))当我进入Hadoop FS并查看目录中的文件时，它们都是

浏览 1提问于2015-01-18得票数 4

1回答

如何使用spark在HDFS中保存数据？

、、、

如果我这样写，对吗？myDStream.foreachRDD(frm->{提前谢谢。亚西尔

浏览 7提问于2017-01-31得票数 3

回答已采纳

3回答

如何配置pyspark默认写入HDFS？

、、

目前，当我在RDD上调用saveAsTextFile时，它会写入我的本地文件系统。具体地说，如果我这样做：rdd.saveAsTextFile("/tmp/sample")rdd = sc.parallelize( [1,2,3,4,5] ) rdd.saveAsTextFile("hdfs://localhost:9000

浏览 0提问于2017-11-28得票数 1

2回答

火花流HDFS

、、、

在使用火花流和内置的HDFS支持时，我遇到了以下问题：myHdfsPath/Prefix_time-part0XXXmyHdfsPath/Prefix_time/part0XXX 这样，我以后可以通过扫描单个HDFS目录来更容易地遍历这些文件

浏览 1提问于2015-09-21得票数 1

2回答

“saveAsTextFile”方法的奇怪行为

我有这样的代码：relationships.saveAsTextFile("/tmp/result") 我希望'saveAsTextFile但是它创建了文件夹'/tmp/result/‘，并将大量的文本文件放入其中，名称分别为-00000、-00001等等。这种方法的行为正常吗？

浏览 4提问于2014-10-14得票数 2

回答已采纳

4回答

(null) saveAsTextFile()中命令字符串异常中的条目

、、、

在尝试执行idSums.saveAsTextFile("Output")时，我收到以下错误： Py4JJavaError: An error occurred while calling o834.saveAsTextFile此外，还创建了Output目录(包含所有子目录)，并创建了文件part-00001，但它是0字节。

浏览 5提问于2016-11-23得票数 19

回答已采纳

2回答

利用Spark/Scala在HDFS文件中实现迭代写入

、、

我无法写入HDFS文件，文件已创建，但它是空的。我不知道如何创建一个用于在文件中写入的循环。= "23") }<console>:76: error:

浏览 1提问于2017-06-15得票数 1

1回答

无法SaveAsTextFile AttributeError：“列表”对象没有属性“saveAsTextFile”

我提交了一个与saveAsTextFile相关的类似问题，但我不确定是否有一个问题会提供与我现在有一个新的错误消息相同的答案：#%%GROUP BY PersonType""")result = myresults.collect()result.saveAsTextFileTraceback (most recent call last) <

浏览 1提问于2018-08-06得票数 1

1回答

使用spark/scala，我使用saveAsTextFile()对HDFS，但hiveql(“选择计数(*)从.)返回0

、、、

我创建了外部表如下..。FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE LOCATION '/work/temp_db/temp_table'" 我在saveAsTextFile()和scala一起使用IntelliJ思想，如下所示.itemsRdd.map(_.makeTsv).saveAsTextFile("hdfs://work/temp

浏览 2提问于2016-07-20得票数 1

回答已采纳

2回答

为什么斯派克流将每条卡夫卡信息保存为一个文件？

、

我将火花流的持续时间配置为20秒，并尝试使用DStream方法saveAsTextFile将每20秒收到的消息保存到HDFS但是，每个输出文件中只有一个消息内容。

浏览 10提问于2015-04-19得票数 1

1回答

使用spark群集模式将文件写入unix目录

我有一个spark应用程序，它当前在本地模式下运行，并将输出写入本地UNIX目录中的一个文件。现在，我希望在yarn集群模式下运行相同的作业，并且仍然希望写入该UNIX文件夹。我可以使用相同的saveAsTextFile(路径)吗？

浏览 14提问于2017-08-23得票数 0

1回答

在Java Spark中重新映射键

、、

我有一个目录，其中包含一些我用wholeTextFiles调用的输入文件，它返回完整的目录路径作为键，值是该文件的文本。我希望将键重新映射为文件的名称，而不是目录路径。对于如何实现这一点有什么想法吗？在关键字上执行JavaRDD<String>是可行的，但最后一次调用会恢复为原始的RDD。你知道怎么解决这个问题吗？(s -> Arrays.asList(s.toLowerCase().split("\\W+")).iterator()).flatMa

浏览 24提问于2021-11-14得票数 0

点击加载更多