spark mapPartitionsWithIndex处理空分区

文章/答案/技术大牛

发布

0回答

scala、apache-spark、null、rdd、partition

在mapPartitionsWithIndex中应该如何处理空分区作为对的改进，我的目标是通过RDD使用最后一个良好的已知值填充NaN值。但有些分区不包含任何值：Map(2 -> None, 5 -> None, 4 -> None, 7 -> Some(FooBar(2016row.get.foo.isDefined myDf.rdd.filter(x => notMissing(Some

浏览 2提问于2017-01-05得票数 1

回答已采纳

1回答

如何在使用RDD.mapPartitionsWithIndex时获取每个分区的索引？

scala、apache-spark、indexing、rdd

我是spark和scala的新手。Spark中有没有一种方法可以从RDD.mapPartitionsWithIndex中获取分区ID/No，它的定义如下：...self.mapPartitionsWithIndex(randomint).partitionBy(new randParti(nump

浏览 12提问于2021-05-16得票数 0

2回答

如果可以获得Spark中的分区计数，为什么无法确定数据帧中的分区？

python、apache-spark、pyspark

使用df.rdd.getNumPartitions()，我们可以获得分区的数量。但是我们如何获得分区呢？我阅读了，并推断Spark不知道分区键。我的疑问是，如果它不知道分区键，因此不知道分区，它怎么知道它们的计数呢？如果可以，如何确定分区？

浏览 0提问于2020-06-18得票数 0

1回答

spark机器学习--更好的设计

python、apache-spark、machine-learning

我正在尝试在Spark中实现一个机器学习算法。基本思想是将数据分成N个分区，并在每个单独的数据集分区上分别学习N个单独的模型。在预测期间，我们轮询这N个模型，并获得它们的o/p，然后组合它们。a)为了将数据划分为N个部分，我们使用repartition(N)；b)为了学习我们使用mapPartitionsWithIndex的每个分区上的模型问题是多个分区映射到同一台物理机--在同一物理节点上启动多个模型构建(由mapPartitionsWithIndex调用

浏览 1提问于2016-11-23得票数 3

1回答

是否可以在火花阶段重新排序任务？

scala、apache-spark、apache-spark-sql、partitioning

上下文：df.rdd .toDF("id", "numElements") 当Spark在我的dataframe上运行它的计算时，我在Spark</e

浏览 2提问于2019-07-26得票数 1

1回答

在spark中中止映射执行

scala、apache-spark、rdd

如何在spark中中断映射作业： if (value == 0)

浏览 5提问于2016-09-17得票数 0

回答已采纳

1回答

Scala/ spark* :当我使用广播在本地和集群中运行spark程序时，为什么会得到不同的结果？*

scala、apache-spark、apache-spark-sql、spark-dataframe

我有一个DataFrame，我想得到上一个分区的值，我使用broadcast.This是我的代码： val bro=sc.broadcast(new mutable.HashMap[Int,Int]) it

浏览 0提问于2017-09-08得票数 0

回答已采纳

1回答

如何在没有本地迭代器的情况下返回Spark分区值？

scala、apache-spark、iterator、rdd

我正在学习与RDD分区发行版相关的Spark及其并行性。我有一个4 CPU机器，因此我有4个单元的并行性。要返回分区索引"0“的成员，我无法在不强制RDD使用localIterator的情况下找到返回此分区的方法。distData: org.apache.sp

浏览 0提问于2018-06-11得票数 0

回答已采纳

4回答

查找分区no/id

apache-spark

中放一些代码来打印分区ID /否

浏览 3提问于2015-07-07得票数 10

回答已采纳

1回答

按键将RDD写入多个目录

apache-spark

我需要拆分一个RDD的第一个字母( an )，并将文件分别写入目录。简单的解决方案是为每个字母过滤RDD，但这需要26次传递。对于向文本文件写入类似的问题，有一个答复，但我不知道如何对Avro文件这样做。

浏览 1提问于2016-05-20得票数 1

回答已采纳

1回答

"Exchange散列分区“在spark中是如何工作的

scala、apache-spark、apache-spark-sql、partition、partitioner

目前，我使用按列重新分区和分区数将数据移动到特定分区。该列标识相应的分区(从0开始到(固定的) n)。结果是scala/some正在生成一个意外的结果，并且创建了更少的分区(其中一些分区是空的)。] = ShuffledRDD[1] at partitionBy at <console>:26 scala> val rddMyDataPartitions = rddMyData.mapPartitionsWithInde

浏览 0提问于2019-01-16得票数 0

回答已采纳

2回答

rowNumber() over(partition_index)在火花壳中使用mapPartitionsWithIndex

scala、apache-spark

我试图在分区中添加分区索引和行号到rdd中，然后我就这样做了。但是，当我试图获得最后一行数的值时，我得到的值为零，行号数组似乎没有被碰过。变范围问题？它类似于rownumber ()、/count() over(partition_index)，但是行号与分区索引一起添加在一个循环中，所以可能更有效？[(Int, Int, Int)] = MapPartitionsRDD[37] at mapPartitionsWithIndex at <console>:29 scala> rdd2.col

浏览 5提问于2017-05-09得票数 0

回答已采纳

1回答

什么时候使用mapParitions和mapPartitionsWithIndex？

apache-spark、pyspark

PySpark文档描述了两个功能： mapPartitions(f，preservesPartitioning=False)通过向这个RDD的每个分区应用一个函数来返回一个新的RDD。mapPartitionsWithIndex(f，preservesPartitioning=False)通过向这个RDD的每个分区应用一个函数来返回一个新的RDD，同时跟踪原始分区的索引。>>> rdd = sc.parallelize(1，2，3，4，4) >>> def ( splitIndex，迭

浏览 2提问于2015-11-11得票数 16

回答已采纳

2回答

想知道为什么空的内部迭代器不会导致mapPartitionsWithIndex的可序列化异常

apache-spark、iterator、partition、serializable

我一直在试验Spark的mapPartitionsWithIndex，当我试图返回一个包含空迭代器的元组的iterator时，我遇到了一些问题。$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1435) at请注意，由于它运行OK (空迭代器作为mapPartitionsWithIndex值返回)。但是，当您使用现在注释掉的mapPartiti

浏览 0提问于2018-06-25得票数 1

回答已采纳

1回答

如何根据给定的分区过滤RDDs？

java、apache-spark、partitioning、rdd

假设散列(ValueA1)= 3，我希望只在分区3上执行给定的操作。更一般地，我感兴趣的是从RDD中删除/选择特定的分区，并对它们执行操作。从星星之火API来看，它似乎不可能直接实现同样的目标吗？

浏览 1提问于2015-11-26得票数 3

回答已采纳

3回答

Spark Streaming -如何在迭代器上的分区中使用reduceByKey

apache-spark、apache-kafka、spark-streaming

我正在尝试使用Kafka DirectStream，处理每个分区的RDDs，并将处理后的值写入DB。当我尝试执行reduceByKey(每个分区，也就是没有随机)时，我得到以下错误。但我想用spark streaming来解决这个问题。value reduceByKey is not a member of Iterator[((String, String), (Int, Int))] val offsetRan

浏览 2提问于2016-10-08得票数 1

1回答

在Spark* Dataframe中运行分区特定查询*

apache-spark、apache-spark-sql、spark-streaming、spark-dataframe

我正在开发spark streaming应用程序，其中我根据数据中的某个ID对数据进行分区。但是我的查询是针对每个分区的。任何关于如何在数据帧上运行查询的建议，其中查询可以特定于每个分区。谢谢

浏览 0提问于2017-05-08得票数 0

1回答

阿帕奇星火mapPartitionsWithIndex

java、mapreduce、apache-spark

有人能给出mapPartitionsWithIndex在Java中正确使用的例子吗？我已经找到了很多Scala示例，但是缺少Java示例。我的理解是，在使用此函数时，独立的分区将由不同的节点处理。我收到以下错误 JavaRDD<String> rdd = sc.textFile(filename).mapPartiti

浏览 5提问于2014-10-20得票数 4

回答已采纳

2回答

星星之火/ Scala:用最后一个好的观察填充nan

scala、apache-spark、apache-spark-sql、nan、apache-spark-dataset

我使用spark 2.0.1，并希望用列中最后一个已知的值填充nan值。我更愿意停留在数据帧/数据集世界中，并可能处理多个nan值。myDf.withColumn("fooLag", lag('foo, 1) over Window.orderBy('rowId)).show 但这会读取以下警告:没有为窗口操作定义分区！将所有数据移动到单个分区，会导致严重的性能下降。我如何引入有意义的分区？

浏览 3提问于2016-11-14得票数 4

回答已采纳

1回答

RDD转换映射

python、list、apache-spark、pyspark、rdd

是否有可能将星火的map方法中的所有元素转换为float (double)，但第一个元素除外，而不需要使用for-循环进行迭代？就像这样的伪码：test = input.map(lambda line: line[0] else float(line)) #convert all elements of the list to float excepted the first o

浏览 2提问于2016-03-11得票数 1

回答已采纳

点击加载更多