Spark/Parquet分区是否保持有序？

Spark/Parquet分区是否保持有序取决于具体的实现和使用方式。

在Spark中，Parquet是一种列式存储格式，它支持数据的分区和排序。Parquet文件可以按照某个或多个列进行分区，这样可以将数据划分为更小的块，提高查询性能。分区可以是单个列或多个列的组合，例如按照日期、地区、用户等进行分区。

对于分区内部的数据是否保持有序，Parquet本身并没有强制要求。但是，可以通过在写入数据时进行排序来实现分区内的有序性。在Spark中，可以使用DataFrame或Dataset的sortWithinPartitions方法对数据进行排序，然后再写入Parquet文件。

在读取Parquet文件时，Spark可以利用分区信息进行数据的过滤和选择，提高查询效率。如果需要按照特定的顺序读取数据，可以在读取数据时使用orderBy方法指定排序列。

总结起来，Spark/Parquet分区是否保持有序取决于数据的写入和读取方式。可以通过在写入数据时进行排序，或在读取数据时指定排序列来实现分区内的有序性。具体的实现方式可以根据具体的业务需求和数据特点进行选择。

腾讯云相关产品和产品介绍链接地址：

腾讯云Spark服务：https://cloud.tencent.com/product/spark
腾讯云数据仓库（支持Parquet格式）：https://cloud.tencent.com/product/dws

对partitionBy创建的一个输出目录中的数据进行排序

scala、apache-spark、sorting、partitioning

我有一个很大的地理空间数据集partitionBy qk5的level 5。在每个quadkey级别的目录中，大约有1-50 Gb的数据，所以它不适合放在一个文件中。我想在进行地理空间查询时受益于下推过滤器。因此，我希望一个qk5分区中的文件按更高的qk分辨率排序(比方说四键级别10)。问:有没有一种方法可以在partitionBy批处理中对数据进行排序？例如： qk5=00001/ part1.parquet part2.parquet part3.parquet part4.parquet ... qk5=33333/ part10000.par

浏览 19提问于2021-09-23得票数 2

回答已采纳

2回答

火花+ Parquet + Snappy:火花混合数据后的总体压缩比损失

apache-spark、apache-spark-sql、parquet、snappy

公社！请帮助我理解如何获得更好的压缩比与火花？让我来描述一下情况：我有dataset，让我们把它称为HDFS上的产品，它是使用Sqoop ImportTool作为-parquet文件使用编解码器snappy导入的。作为导入的结果，我有100个文件，总容量为46 GB，文件大小不同(最小11 GB，最大1.5GB，avg ~500 GB)。记录总数略多于80亿，共84列。我还使用snappy进行简单的读取/重新分区/写入Spark操作，结果是： ~100 GB输出大小与相同的文件计数、相同的编解码器、相同的计数和相同的列。代码片段： val productDF = sp

浏览 0提问于2018-02-18得票数 13

1回答

如何对数据进行物理分区以避免Spark SQL连接中的混洗

apache-spark-sql

我需要连接5个中等大小的表(每个表大约80 gb )和大约800 gb的大型输入数据。所有数据都驻留在配置单元表中。我使用Spark SQL 1.6.1来实现这一点。Join需要40分钟的时间才能完成--num-executors 20 --driver-memory 40g --executor-memory 65g --executor-cores 6。所有联接都是排序合并外部联接。也看到了大量的洗牌发生。我将hive中的所有表存储到相同数量的存储桶中，以便所有表中的相似键在一开始加载数据本身时都将转到相同的spark分区。但spark似乎并不理解bucketing。有没有其他方法可以

浏览 3提问于2016-10-25得票数 1

2回答

Spark是否在read上维护拼花地板分区？

scala、apache-spark、partitioning、parquet

我很难找到这个问题的答案。假设我向parquet编写了一个数据帧，并结合使用repartition和partitionBy来获得一个分区良好的parquet文件。如下所示： df.repartition(col("DATE")).write.partitionBy("DATE").parquet("/path/to/parquet/file") 现在，稍后我想要读取拼图文件，所以我这样做： val df = spark.read.parquet("/path/to/parquet/file") 数据帧是否按"DATE

浏览 5提问于2018-06-13得票数 15

1回答

在火花中保存已订购的数据

hadoop、apache-spark、dataframe

我正在尝试将已订购的数据存储到HDFS中。我的代码如下所示： dataFrame.orderBy("index").write().mode(SaveMode.Overwrite).parquet(getPath()); 我在两个不同的集群上运行相同的代码，一个集群使用Spark1.5.0，另一个使用- 1.6.0。当使用Spark1.5.0在集群上运行时，在磁盘上保存之后，它不会保留排序。在将数据保存到磁盘上时，是否有任何特定的群集设置来保留排序？或者是火花版本已知的问题？我搜索过火花文档，但找不到任何关于。更新：我在地板上检查过文件，在这两种情况下，文件都是排序的。因

浏览 1提问于2016-12-28得票数 6

2回答

将信息保存到Cassandra没有任何命令

scala、apache-spark、cassandra、spark-cassandra-connector

我正在与Scala一起工作，并试图将我的日历信息从Spark保存到Cassandra。我从使用Cassandra创建相同的模式开始： session.execute("CREATE TABLE calendar (DateNum int, Date text, YearMonthNum int, ..., PRIMARY KEY (datenum,date))") 然后把我的数据从星火导入卡桑德拉： .write .format("org.apache.spark.sql.cassandra") .options

浏览 12提问于2022-02-21得票数 2

回答已采纳

1回答

维护传入流数据的时间戳序列

apache-spark、apache-kafka、apache-spark-sql、spark-structured-streaming

因此，我正在使用结构化流将一些json数据从kafka推送到Spark。数据，以字典的形式，有一个字段“时间戳”。在解析json并获取每个键的各个列之后，我注意到时间戳字段并不是按它被推入kafka集群的顺序。 +----------+ | Timestamp| +----------+ | 1 | | 2 | | 6 | <-- | 4 | | 5 | | 7 | <-- +----------+ 有什么办法确保数据保持顺序吗？我能想到的一件事是在带有output_mode=“完全”的时间戳上

浏览 4提问于2020-02-18得票数 0

回答已采纳

1回答

星星之火: DataFrameWriter必须是阻塞的步骤吗？

apache-spark、spark-dataframe、distributed-computing、partitioning

我已经用一个列(例如，id)对数据进行了分区，并将这个数据集保存在某个位置。有时，我会得到一个结构相同的较小的增量数据集，实际上，我必须在id的基础上重新插入我现有的数据，并在date列中决定哪条记录是最新的。(我不把它写在同一个地方，我把整个新的blob都放在别的地方了。) 我一直在做这件事，有两种方法--要么在窗口中分组，要么使用最高的date行。或者通过dropDuplicates，依靠事实，我的数据是有序的。(我宁愿使用前者，但我一直在尝试各种方法。) 一个大问题是，每个id组都是不可忽略的(几千兆字节)，所以我希望Spark (与n员工一起)能够理解，既然我正在读取id-partit

浏览 0提问于2018-03-26得票数 0

2回答

将数据添加到存储在磁盘上的Spark/Parquet数据

apache-spark、pyspark、apache-spark-sql、parquet、pyspark-sql

我所处的情况类似于。这个问题没有得到满意的回答。此外，我需要处理的数据较少(每天大约1G )。我的情况:我有一定数量的数据(~500克)已经可以作为地板(即“存储格式”，这是商定的)，我得到定期的增量更新。我希望能够处理ETL部分以及分析部分之后。为了能够有效地对某些“中间数据产品”进行更新，我看到三个选项：使用附加模式保存，在创建所有数据产品之前保持diff数据集。使用附加模式保存，添加额外的列upload_timestamp 将每个更新保存到一个单独的文件夹，例如： part_001 +- various_files.parquet +- part_002 + +- v

浏览 0提问于2017-04-10得票数 2

回答已采纳

1回答

为什么写入的数据帧在读取后没有保持顺序？

apache-spark、pyspark

我按照前两列的顺序将数据帧写入HDFS： final = <dataframe>.select('Pais','Anho','NumPatentes','TotalCitas','MediaCitas','MaxCitas').orderBy("Pais", "Anho") final.show() final.write.format("csv").save("<path>", header = '

浏览 11提问于2019-12-03得票数 2

回答已采纳

3回答

将文件保存到Parquet时，分区列被移动到行尾

apache-spark、parquet

对于给定的DataFrame，在成为saved到parquet之前，这里是一个模式:注意，centroid0是第一个列，是StringType。但是，当使用以下方法保存文件时： df.write.partitionBy(dfHolder.metadata.partitionCols: _*).format("parquet").mode("overwrite").save(fpath) 以partitionCols作为centroid0 还有一个(对我来说)令人惊讶的结果： centroid0分区列已移动到行的end 数

浏览 4提问于2018-06-21得票数 5

回答已采纳

1回答

对PySpark数据帧重新分区后的排序

sorting、pyspark、partition

我们有一个巨大的文件，我们根据一个列进行了重新分区，例如，假设它是STATE。现在看来，在重新分区后，数据无法完全排序。我们正尝试将最终文件保存为文本文件，但列出的第一个州不是阿拉巴马州，而是加利福尼亚州。在运行重新分区后，OrderBy似乎没有效果。 df = df.repartition(100, ['STATE_NAME'])\ .sortWithinPartitions('STATE_NAME', 'CUSTOMER_ID', 'ROW_ID')

浏览 3提问于2021-10-21得票数 0

2回答

在HDFS上进行spark存储和读取镶嵌

apache-spark、hdfs、parquet

我正在写这段代码 val inputData = spark.read.parquet(inputFile) spark.conf.set("spark.sql.shuffle.partitions",6) val outputData = inputData.sort($"colname") outputData.write.parquet(outputFile) //write on HDFS 如果我想从HDFS中读取文件"outputFile“的内容，我找不到相同数量的分区，并且数据没有排序。这是正常的吗？我使用的是Spark 2.0

浏览 1提问于2016-11-04得票数 3

9回答

如何快速入门Kafka消息队列？

消息队列 CMQ 版、消息队列 CKafka 版

最近经常听到这个名词，但是不知道如何入门，我看到腾讯云也有相关的产品Ckafka产品，所以来问问~

浏览 4990提问于2018-09-14

5回答

微信小程序人脸与身份证照片对比登录,后端做什么？

官方文档、小程序·云开发

微信小程序前端和后端分别要做些什么 ? 所有需要的东西有哪些 ? (请尽量详细点) 标题：人脸识别 - 智能图像服务 - 产品文档 - 帮助与文档 - 腾讯云地址：https://cloud.tencent.com/document/product/641/12397

浏览 2455提问于2018-01-24

2回答

星火知道DataFrame的分区键吗？

apache-spark、partitioning、window-functions

我想知道星火是否知道分割键的地板文件，并使用这些信息，以避免洗牌。上下文：运行Spark2.0.1运行本地SparkSession。我有一个csv数据集，我将其保存为磁盘上的拼花文件，如下所示： val df0 = spark .read .format("csv") .option("header", true) .option("delimiter", ";") .option("inferSchema", false) .load("SomeFile.csv"))

浏览 0提问于2018-01-26得票数 21

回答已采纳

3回答

星火数据加入问题

scala、apache-spark、hbase

代码片段下面的工作得很好。(读取CSV、读取Parquet和相互连接) //Reading csv file -- getting three columns: Number of records: 1 df1=spark.read.format("csv").load(filePath) df2=spark.read.parquet(inputFilePath) //Join with Another table : Number of records: 30 Million, total columns: 15 df2.join(broadcast(df1), c

浏览 1提问于2019-03-10得票数 3

2回答

不能把有序的数据写到星火中的地板上

scala、apache-spark、sorting、parquet

我正在与Apache一起工作，以生成拼花文件。我可以在没有问题的情况下按日期对它们进行分区，但在内部，我似乎无法按正确的顺序排列数据。订单似乎在处理过程中丢失了，这意味着parquet元数据不正确(具体来说，我希望确保parquet行组反映排序顺序，以便特定于我的用例的查询能够通过元数据高效地过滤)。请考虑以下示例： // note: hbase source is a registered temp table generated from hbase val transformed = sqlContext.sql(s"SELECT id, sampleTime, ... ,

浏览 1提问于2018-09-04得票数 8

1回答