Pyspark中的范围划分

文章/答案/技术大牛

发布

1回答

python、apache-spark、pyspark、partitioning

假设我有一个包含1,000,000个ids的数据集。对于100个分区，我该如何按范围进行分区？我在Scala中见过RangePartitioner类，但在PySpark应用程序接口中似乎没有它。我有一个非常大的数据集，目前正在按唯一id进行分区，但这创建了太多的分区。我想知道在PySpark中关于范围分区的最佳实践 df.write.partitionBy('unique_id').mode(&#

浏览 19提问于2019-04-18得票数 1

回答已采纳

1回答

提高wide GroupBy + write的性能

performance、pyspark、azure-databricks

我需要调一份如下所示的工作。import pyspark.sql.functions as F measures = ["m1", "m2", "m3"]Write out summary table aggregate.write.format("delta").mode("overwrite").save("o

浏览 1提问于2022-07-23得票数 0

1回答

如何读取火花流的分区列

apache-spark、pyspark、parquet、spark-structured-streaming

我有一个火花流工作，在这里我流数据，并将其划分为一个或多个列，并存储在gcs桶中。下面是示例代码，我将其按团队划分并存储在gcs桶中。from pyspark import SparkContext spark = SparkSession.builder.getOrCreatetemp.writeStream.format('parquet').outputMode('append

浏览 5提问于2022-11-29得票数 0

回答已采纳

1回答

按日期将吡火花数据集拆分为两个

python、pyspark、pyspark-sql

我有pyspark数据集，我想按照datetime列将其划分为列车和测试数据集，其中，训练数据集的日期时间应该小于日期时间列的中位数，而测试数据集应该有其余的数据集。但是这只解决了火车部件的问题，我不知道如何从PySpark中的初始数据集中“减除”训练数据集。如果PySpark与Pandas ()函数有某种相似之处，那就太好了，但它没有。

浏览 0提问于2019-08-21得票数 0

回答已采纳

2回答

如何在sparklyr中重新划分数据帧

r、apache-spark、sparklyr

我可以很容易地在pyspark和sparkr中找到这个函数，但是sparklyr中似乎没有这样的函数。有人知道如何在sparklyr中重新划分星火数据吗？

浏览 3提问于2017-05-29得票数 2

回答已采纳

1回答

火花放电中稠密矩阵的再划分

python、apache-spark、pyspark

我有一个密度矩阵(100*100)在火花放电中，我想把它分成10个组，每个组包含10行。from pyspark import SparkContext, SparkConfsc = SparkContext("local", "Simple10000).collect())rerdd = newRdd.repartition(10) 上面的代码导致包含100个元素的

浏览 6提问于2016-04-20得票数 2

回答已采纳

2回答

火花性能问题-将分区作为单个文件写入S3

apache-spark、pyspark、apache-spark-sql、aws-glue、aws-glue-spark

我正在运行一个火花作业，其任务是扫描一个大文件并将其分割成较小的文件。这个文件是Json格式的，我试图用一个特定的列(id)来划分它，并将每个分区作为一个单独的文件保存到S3中。文件大小约为12 GB，但id有大约500000个不同的值。查询所用的时间几乎是15个小时。我能做些什么来提高性能呢？对于这样的任务来说，星火是一个糟糕的选择吗？import sys from pyspark.context

浏览 3提问于2020-08-01得票数 1

1回答

为什么这个嵌套的“什么时候”不能在火花放电中工作？

apache-spark、if-statement、pyspark、apache-spark-sql

我试着把人划分成年龄范围from pyspark.sql import functions as fn from pyspark.sql.types^ SyntaxError: invalid syn

浏览 1提问于2021-01-26得票数 0

回答已采纳

2回答

将文件从一个分区移动到另一个分区

amazon-s3、pyspark、parquet、hadoop-partitioning

2020-01-01df=df.withColumn('MODULE', when(col('index&#

浏览 2提问于2020-09-17得票数 0

回答已采纳

2回答

每个分区中对象数的火花合并

apache-spark

我们开始在我们的团队中尝试火花。在我们减少工作在火花，我们想写结果到S3，但我们想避免收集火花的结果。目前，我们正在将这些文件写入RDD的Spark，但是这导致了大量的小文件。我们希望能够将数据聚合到由写入文件的对象数量所划分的几个文件中。例如，我们的总数据是1M对象(这是常数)，我们希望生成400K对象文件，而我们当前的分区产生大约20k的对象文件(对于每个作业来说，这有很大<e

浏览 2提问于2018-12-18得票数 1

回答已采纳

1回答

从S3读取拼花分区表是从分区列中删除前导零

python、apache-spark、pyspark、parquet

我使用EMR( pyspark )编写了一个pyspark作为s3的块，该数据由列(A)(即StringType() )划分。在S3中，数据如下所示 A=0003 A=C456df = spar

浏览 0提问于2020-04-11得票数 0

回答已采纳

1回答

PySpark :使用选定的列或分区优化从Delta读取/加载

python、apache-spark、pyspark、delta-lake

我正在尝试将数据从Delta加载到pyspark dataframe。path_to_data = 's3://mybucket/daily_data/'现在，基础数据按日期划分为dt=2020-06-22只需要特定的日期范围，列的子集只需要df.

浏览 2提问于2020-06-23得票数 4

1回答

完整数据帧的火花散列

pyspark、hash

是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。读取数据中的数据，通过SoldDate进行分区，计算每个分区

浏览 8提问于2022-12-04得票数 0

2回答

如何在python脚本的逗号行参数中实现逻辑区分？

python、command-line-arguments、argparse

我希望能够传递参数，这些参数将在稍后以易于阅读的格式传递给多个脚本(基本上为每个脚本分组)。我可以举个例子：使用“--”将工作的参数与gcloud的参数分开就像这样。dataproc有--来划分一组参数和另一组参数。我如何实现这一点？

浏览 2提问于2021-12-22得票数 0

1回答

Pyspark:保存sql.dataframe时出现内存错误

pyspark

我有一个要另存为.csv的pyspark.sql.DataFrame。这就是我正在做的事情。df.toPandas().to_csv('myDF.csv') 是否可以将数据划分为不同的区块，并将它们保存为单独的文件？

浏览 10提问于2020-02-07得票数 1

2回答

读取PySpark中的所有分区拼图文件

apache-spark、pyspark、apache-spark-sql、parquet

我想要加载存储在S3 AWS文件夹结构中的所有拼图文件。文件夹结构如下：<code>D0</code>这在PySpark

浏览 70提问于2019-12-04得票数 0

3回答

Apache Spark:获取每个分区的第一行和最后一行

apache-spark、pyspark、pyspark-dataframes

我想获取spark中每个分区的第一行和最后一行(我使用的是pyspark)。我该怎么做呢？在我的代码中，我使用以下命令根据键列重新划分数据集：有没有办法获得每个分区的第一行和最后一行

浏览 6提问于2020-02-21得票数 0

1回答

Python多处理工具vs Py(Spark)

python、scikit-learn、multiprocessing、pyspark、cluster-computing

这是一个新手问题，因为我越来越迷惑pyspark。我想扩展现有的python数据预处理和数据分析管道。我意识到如果我用pyspark划分我的数据，我不能再把每个分区当作一个独立的pandas数据框架，需要学习如何使用pyspark.sql的行/列函数来操作，并修改很多现有的代码，再加上我一定会触发mllib库，而不能充分利用更成熟的scikit-learn包。那么，如果我可以使用多处理工具进行集群计算并并行现有数据帧上的任务

浏览 2提问于2017-06-15得票数 6

1回答

星火SQL窗口函数-手动重新分区必要吗？

apache-spark、pyspark、partitioning

我正在用PySpark处理按"A“列划分的数据。在应用窗口之前，我需要手动按列"B“重新划分数据吗?还是星火自动重新划分？

浏览 3提问于2021-05-17得票数 1

1回答

Spark "sum“命令给出方法sum([class java.util.ArrayList])不存在

python、arrays、apache-spark、sum、aggregate-functions

from pyspark.sql.functions import *给予：我怎么能得到一个简单的数字？

浏览 2提问于2019-10-17得票数 3

回答已采纳

点击加载更多