我正在使用spark 1.6.3并尝试将rdd保存为textFile，但我得到了以下错误。pRdd = opRdd.coalesce(1);
java.io.IOException: Mkdirs failed to create file:/home/user1/Tarun&#
浏览 61提问于2019-10-25得票数 0
回答已采纳
1回答
问题java.io.IOException: Mkdirs failed to create file:/home/zooms/output/sample1(SparkHadoopWriter.scala:91)
at org.apache.spark.rdd.PairRDDFunctions$$a
浏览 4提问于2017-09-25得票数 0
回答已采纳
)df.coalesce(1).rdd.saveAsTextFile例如，java.io.IOException: Mkdirs failed to create file与上述代码一起发生。我也试过：
chown
浏览 8提问于2016-11-24得票数 15
回答已采纳
我有一个很大的RDD，这需要花很多时间去collect。我想让每个分区使用mapPartitionsWithIndex将其内容写入一个文本文件。但这不是异步方法。有没有人知道如何异步写出RDD内容？
浏览 8提问于2016-08-06得票数 3
回答已采纳
(args : Array[String]): Unit={ .appName("Creating RDD with CSVFiles") .getOrCreate()
val rdd= spark.sparkContext.textFile("src/test/Array((colarray(0),colarra
浏览 1提问于2020-05-26得票数 0
(PairRDDFunctions.scala:962)at org.apache.spark.rdd.RDD$$anonfun$saveAsTextFile$1.apply(RDD.scala:1468)
at org.apache.spar
浏览 3提问于2017-06-01得票数 1
回答已采纳
如何应用saveAsTextFiles(prefix,[suffix]) JavaDStream<String> hashTags = statuses public Boolean call(String word) { }当我编
浏览 1提问于2015-02-07得票数 0
/try')
1827
~\bt4221_spark\spark(RDD.scala:414
浏览 173提问于2021-09-04得票数 0
java.lang.IllegalArgumentException:无法从空字符串创建路径我使用的是spark版本2.4.7 hadoop版本3.3.0智能hadoop版本jdk 8首先我得到类未找到错误$$anonfun$saveAsTextFile$1.apply$mcV$sp(RDD.scala:1544)
at org.apache.spark.rdd.RDD$$anonfun$saveAsTextFile$1.apply(<
浏览 246提问于2021-05-04得票数 1
回答已采纳
我正在创建一个简单的ETL，它读取十亿个文件并对它们进行重新分区(换句话说，压缩到较小的数量以便进一步处理)。:112)org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile$$anonfun$saveAsTextFile$1.apply$mcV$sp(RDD.scala:1499
浏览 0提问于2020-12-22得票数 1
我正在PySpark上工作，在windows 7中编写一个木星笔记本(Python2.7)，我有一个名为idSums的pyspark.rdd.PipelinedRDD类型的RDD。在尝试执行idSums.saveAsTextFile("Output")时，我收到以下错误：: org.apache.spark.SparkException: Job a
浏览 5提问于2016-11-23得票数 19
回答已采纳
我提交了一个与saveAsTextFile相关的类似问题，但我不确定是否有一个问题会提供与我现在有一个新的错误消息相同的答案：#%%from pyspark.sql import SparkSession
spark =SparkSession.builder.appName('
浏览 1提问于2018-08-06得票数 1
2回答
val = lines.foreachRDD(rdd => rdd.foreachPartition {分区=> partition.foreach { file => runConfigParser(因此，多个节点将处理RDD并将输出写入单个HDFS文件。因为我想把它装进蜂巢里。我是否应该输出runConfigParser的结果并使用sc.parallze(output).saveAsTextFile(path)，以便我的所有节点都将RDD输出写入单个HDFS文件。
浏览 5提问于2015-07-28得票数 2
(PairRDDFunctions.scala:960) at org.apache.spark.rdd.RDD$$anonfun$saveAsTextFile$1.apply(RDD.scala:1468)
at org.apa
浏览 62提问于2019-06-05得票数 1
2回答
=> //rdd.saveAsTextFile(CHECKPOINT_DIR + "/output_" + sdf.format(System.currentTimeMillis()))
当我运行rdd.saveAsTe
浏览 0提问于2017-11-12得票数 0
我想要加载RDD，或者，如果失败，创建RDD。我认为下面的代码可以工作，但是即使sc.textFile()在try块中，它仍然失败。我遗漏了什么，或者我如何正确地做到这一点？谢谢!newRdd.saveAsTextFile(rdddump) }println("RDD count = " + myRdd.count)(HadoopRDD.scala:175)
at org.apache.
浏览 1提问于2014-08-14得票数 0
2回答
在使用spark RDD时，我知道每次我们有一个ShuffleRDD都会创建一个新的阶段，但是当我们有多个操作时会创建一个新的阶段吗？示例：
val rdd2 = sc.textFile("<some_path").keyBy(x=>x.split(",")(
浏览 0提问于2016-12-23得票数 0
Spark提供了一种方法saveAsTextFile，可以方便地将RDD[T]文件存储到磁盘或硬盘中。我想反转这个操作。我想知道有没有可以很容易地将文件加载到RDD[T]中的loadFromTextFileclass A extends Serializable {}
val d1:RDD[A] = create_A
d1.saveAsTextFi
浏览 1提问于2015-05-15得票数 5
回答已采纳
1回答
火花管实例
、、、
我在Scala中有以下代码14/11/25 09:41:50 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)at org.apache.spar
浏览 2提问于2014-11-25得票数 3
回答已采纳
1回答
我是Spark/Scala编程的新手，我能够使用maven进行设置，并能够运行示例字数统计程序。以下是我的代码import org.apache.spark.SparkContext .setMaster("local")
val sc = new
浏览 0提问于2016-04-29得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
