如何在Spark中将每个列重新分区为固定数量的分区？

文章/答案/技术大牛

发布

1回答

apache-spark、hive、apache-spark-sql

这两个表的模式是相同的。该表按日期和国家进行分区。每个分区的大小约为500MB。我想将这些数据插入到一个新的表中，其中每个分区中的文件大约为128MB(即4个文件) 步骤1:从Spark中的源表中读取数据。步骤2:按列(country，date)重新分区，并将分区数设为4。df.repartition(4,

浏览 42提问于2021-11-09得票数 0

1回答

了解与Kafka集成的一些概念和Hazelcast Jet

hazelcast、hazelcast-jet

Q1 -在Spark中，每个Kafka分区将成为spark中的一个分区，然后它们将由单个任务并行处理。我想我在某处读到过Hazelcast Jet将合并来自kafka的所有消息，而不考虑group.id和主题分区，对吗？Q2 -我们如何在Jet程序中增加“消费者”的数量，以增加来自kafka的吞吐量消耗？在Spark中，我想我们只需要增加主题分区

浏览 0提问于2018-01-23得票数 2

1回答

星火中的分区与数据湖中的分区

apache-spark、pyspark、apache-spark-sql、databricks、data-lake

当将文件写入Data时，特别是通过Databricks，我们可以选择指定分区列。这将根据数据集中该列中可用的值将数据保存在单独的文件夹(分区)中。同时，当我们讨论星火优化时，我们谈到了数据的分区。据我所理解，如果我们只想读取数据的某些部分(当然是基于分区列)，将数据保存在分区中的分布式文件系统中将有所帮助。例如，如果我们按颜色进行分区<

浏览 2提问于2022-05-10得票数 0

回答已采纳

1回答

转换后保留Spark数据帧的分区数量

apache-spark、apache-spark-sql、partitioning、data-partitioning

我在代码中发现了一个bug，其中一个数据帧被分割成比预期更多的分区(超过700个)，当我试图将它们重新分区到只有48个时，这会导致太多的随机操作。我不能在这里使用coalesce()，因为在进行重新分区之前，我希望首先有更少的分区。我正在寻找减少分区数量的方法。假设我有一个spark数据帧(包含多个列)划分为10个分区。我需要

浏览 2提问于2017-09-13得票数 1

1回答

本机文件系统上的Spark行为

apache-spark、hadoop、hdfs

我们正在试验在我们的项目中运行Spark，没有Hadoop，也没有像HDFS这样的分布式存储。Spark安装在具有10核和16 on的单个节点上，并且该节点不属于任何群集。假设Spark driver占用2个内核，其余的在执行时被执行器(每个2个)消耗。如果我们处理存储在Spark本地磁盘中的一个大CSV文件(大小为1 GB)作为RDD，并将其重新分区到4个不同<

浏览 10提问于2019-02-01得票数 0

回答已采纳

1回答

PySpark -在读取拼花后优化分区数

apache-spark、pyspark、partitioning、parquet

在一个由year和month分隔的拼花数据湖中，spark.default.parallelism设置为4，假设我想创建一个DataFrame，由2017年以来的11~12个月，以及2018年的1~3个月", "B.parquet/_YEAR={2018}/_MONTH={1,2,3}",如果我得到分区</

浏览 1提问于2018-06-05得票数 2

回答已采纳

3回答

Spark在加载Hive表时创建了多少个分区

apache-spark、hadoop、pyspark、apache-spark-sql

即使是Hive表或HDFS文件，当Spark读取数据并创建数据帧时，我认为RDD/dataframe中的分区数量将等于HDFS中的partfile数量。但是，当我使用配置单元外部表进行测试时，我可以看到这个数量与数据帧中分区的部分文件数量.The数量119不同。该表是一个Hive分区表，其中包含150个部分文件，最小文件大小为30MB，最大大小为

浏览 69提问于2020-04-02得票数 3

1回答

Spark Data Source是否支持对写入的输入V2进行重新分区？

apache-spark

我有一个自定义的Spark数据源，它是使用data source实现的，我正在尝试将其转换为V2 V1。RDD进行重新分区，以便输入分区的数量更适合目标数据源的要求。但是在V2应用编程接口中，BatchWrite接口似乎没有为数据源提供任何在写入之前强制对输入数据进行重新分区的方法： https://github.com/apache

浏览 41提问于2021-05-08得票数 0

1回答

如何将分区分配给星火中的任务

apache-spark、distributed-computing

每个文件的大小为10 MB。当我执行df = spark.read.parquet(s3 path)时，文件(或者更确切地说是分区)是如何跨任务分发的？例如，在本例中，df将有100个分区，如果spark有10个任务用于将该文件夹的内容读取到数据框架中，那么分区是如何分配给这10个任务的？它是以循环的方式进行的，还是每个任务在基于范围的<

浏览 3提问于2019-12-09得票数 2

回答已采纳

2回答

星火知道DataFrame的分区键吗？

apache-spark、partitioning、window-functions

特别是，我在上面运行一个window function，其中分区是在parquet文件被重新分区的同一列上完成的。，每个分区中都有不同的卡片。如果它不知道，我如何告诉斯派克数据已经被正确的列分区了？如何检查DataFrame的分区键？这有命令吗？我知道如何检查分区的数量，但如何查看分区键

浏览 0提问于2018-01-26得票数 21

回答已采纳

1回答

写入HDFS时Apache spark中的任务数

apache-spark、apache-spark-sql

我正在尝试读取csv文件，然后添加一些列。之后，尝试以orc格式保存。为什么CSV阶段的任务数是1，而ORC阶段的任务数是39？val c1c8 = spark.read.option("header",true).csv("/user/DEEPAK_TEST/C1C6_NEW/") val c1c8new = { c1c8.

浏览 5提问于2021-07-21得票数 0

回答已采纳

1回答

PySpark -合并(1)是否保留范围分区的顺序？

pyspark、bigdata、sql-order-by、partitioning、coalesce

通过查看Spark和物理计划，我发现orderBy是由Exchange rangepartitioning(col#0000 ACS NULLS FIRST, 200)和Sort [col#0000 ACSNULLS FIRST], true, 0完成的。据我所知，rangepartitioning将为每个分区定义最小值和最大值，并将包含最小和最大列值的数据排序到该分区，以实现全局排序。但是现在我有200个分区，我想要输出到一个csv文件。然而，我不

浏览 4提问于2021-09-30得票数 0

1回答

如何处理火花中强变化的数据大小

apache-spark

我想知道在设计火花作业时的最佳实践，在这种情况下，数据的数量是事先不知道的(或者是变化很大的)。在我的示例中，应用程序应该同时处理初始负载和稍后的增量数据。我想知道如何设置数据中的分区数(例如，使用repartition或设置参数(如spark.sql.shuffle.partitions )，以避免执行器中的OOM超出(每个执行器分配的内存<e

浏览 0提问于2017-06-28得票数 0

1回答

spark dataframe groupBy任务号

apache-spark、dataframe

我在本地模式下运行，并使用2个分区初始化。当我使用DataFrame.show()时，它是这样的：INFO scheduler.TaskSetManager: Finished task 1.0 in stage 3.0 (TID 5) in但是当我使用DataFrame.groupBy()时，它得到的任务很多，就像这样：INFO scheduler.TaskSetManager: Finished task 83.0 in stage 15.0我的源代码在这里。任何帮助都是有用的。

浏览 17提问于2017-08-23得票数 0

回答已采纳

2回答

Spark Dataframe分区数

apache-spark、dataframe、apache-spark-sql

有人能解释一下为Spark Dataframe创建的分区数量吗？但是对于Spark dataframe，在创建时，我们看起来没有像RDD那样指定分区数量的选项。我认为唯一的可能性是，在

浏览 1提问于2016-09-07得票数 9

回答已采纳

3回答

Scala -星火重新分区没有给出预期的结果

scala、apache-spark

我想根据一个列X重新划分我的星火数据。假设X列有3个不同的值(X1、X2、X3)。不同值的数量可能有所不同。DF = DF.repartition(uniqueList.length, col('X')) 但是，DF中的分区并不像预期的那样出现。数据没有正

浏览 2提问于2020-07-12得票数 0

回答已采纳

1回答

Spark SQL连接的数据集似乎已合并到较少的分区中

apache-spark-sql

我正在执行一个内连接，其中左数据集和右数据集被同一列重新划分为同一作业中的2001个分区。我期望连接的数据集也有2001个分区，但它有200个分区，这是spark.sql.shuffle.partitions的默认值。有人能建议在什么情况下spark可以决定减少连接数据集上的分区数量吗？特里。

浏览 1提问于2018-08-21得票数 0

2回答

如何在Apache Spark中拆分输入文件

apache-spark

假设我有一个大小为100MB的输入文件。它包含CSV格式的大量点(经纬度对)。我应该做什么，以便在Apache Spark中将输入文件拆分为10个10MB文件，或者如何自定义拆分。注意:我希望处理每个映射器中的点的子集。

浏览 2提问于2014-12-23得票数 4

回答已采纳

1回答

火花DataFrame RangePartitioner

apache-spark、apache-spark-sql、apache-spark-dataset

假设我们有一个包含2列的dataframe，而一个列(例如'A')的值从1到1000之间是连续的。还有另一个具有相同模式的dataframe，但是相应的列只有4个值30,250,500,900。(这些值可以是任意值，从1到1000之间随机选择)df_a.partitionByRange($"A") df_b.partitionByRa

浏览 0提问于2018-10-26得票数 3

回答已采纳

1回答

Spark -将分区数减少到已读取的文件夹数

apache-spark、spark-streaming、partition

使用spark streaming(每隔5分钟)，我将数据存储为HDFS中的拼图。/data/yyyy-MM-dd/*..parquet 例如: /data/2020-02-02/*parquet 每个拼图文件的大小仅以KB为单位每个文件夹最多可包含288个地块文件(最多)。我们通常读取过去24小时、过去7天、过去一个月等等的数据。当使用spark和我读取数据时，我已经检

浏览 15提问于2020-02-02得票数 0

点击加载更多