我有一个8.9 in的文本文件，我用它创建了一个RDD，并将它导入Spark。textfile = sc.textFile("input.txt")
Spark创建的分区数是279，这是通过将输入文件的大小除以32MB的默认HDFS块大小得到的。我可以将一个参数传递给textfile并要求更多的分区数量，然而，不幸的是，我不能拥有比这个默认值更
浏览 0提问于2015-08-07得票数 1
2回答
实例类型默认分区差异
、、、
我的理解是，spark会根据文件的大小，或者如果它是许多拼图文件的并集，部分的数量，来选择分区的“默认”数量。然而，在读入一组大的拼图文件时，我发现具有单个d2.2xlarge的EMR集群的默认分区数是~1200。然而，在2个r3.8xlarge的集群中，我得到了大约4700的默认分区
浏览 1提问于2017-08-08得票数 0
我正在使用AWS EMR笔记本中的pyspark，并希望在保存表时覆盖单个分区。有没有办法只覆盖S3分区和spark元数据中的文件？
注意:我使用Glue作为spark元数据
浏览 1提问于2021-06-12得票数 0
spark.sql.shuffle.partitions和spark.default.parallelism有什么不同
我尝试在SparkSQL中设置这两个任务，但第二阶段的任务号总是200。
浏览 1提问于2017-08-16得票数 95
回答已采纳
我正在阅读，关于分区，他说
我对HDFS并不十分熟悉，但是我遇到了一些复制这条语句的问题。我有一个名为Reviews.csv的文件，它是大约330 of的亚马逊食品评论文本文件。给定默认的64‘d块，我希望使用ceiling(330 / 64) = 6分区。但是，当我将文件加载到我的Shell
浏览 1提问于2018-12-01得票数 1
回答已采纳
Cloud - Cassandra集群，多个DC<code>A0</code>
在我的多租户spark集群中，对于具有20M记录的spark批量加载，以及下面的配置，我看到了许多任务失败、资源抢占和动态失败。PS:我一开始的理解是:
浏览 25提问于2020-06-08得票数 1
回答已采纳
问题背景
显然，RDD和DataFrame的分娩控制是不同的。Dataframe有spark.sql.shuffle.partitions来控制重装分区(如果我正确理解的话，可以进行广泛的转换)，而"spark.default.parallelism“不会产生任何影响但是洗牌与分区有什么关系呢？如果您正在使用RDDs…，那么实际上
浏览 6提问于2019-11-18得票数 2
回答已采纳
它是Spark 2.2.0-快照。res0: Int = 200我听说过特别询问groupByKey，但问题是选择200作为默认分区背后的“奥秘”，而不是为什么默认
浏览 2提问于2016-12-28得票数 8
回答已采纳
ORC格式的非格式化表格中有200个文件。每个文件都在170KB.The左右，总大小约为33MB。 想知道为什么spark阶段读表生成7个任务。该作业被分配给一个具有5个核心的执行器。
浏览 43提问于2021-09-02得票数 4
回答已采纳
我正在为确定父子表的表生成层次结构。下面是使用的配置，即使在收到与太大的帧有关的错误之后：--conf spark.yarn.executor.memoryOverhead=1024mb \import org.apache.spark.SparkContext;
import org.apache.spark.sql.{DataFrame
浏览 3提问于2018-07-11得票数 8
在Spark 2.2.0中:我正在读入一个文件，使用对于一个350MB的文件，我在一个系统中使用77个分区，在另一个系统中使用88个分区。对于一个28 GB的文件，我还获得了226个分区，大约为28*1024MB/128MB。问题是，Spark CSV数据源如何确定这个默认<e
浏览 13提问于2018-05-24得票数 1
我是Spark SQL的新手。我有一个关于连接期间分区使用的问题 假设有一个名为test1的表，它保存在10分区(parquet)文件中。还假设spark.sql.shuffle.partitions = 200。问:如果使用test1对另一个表进行Join，Spark会使用10分区(这是表所在分区的数量)执行操作，还是会在200分区中对表进行重
浏览 42提问于2021-01-30得票数 0
1回答
我正在尝试理解在Apache Spark中分区是如何完成的。你们能帮帮忙吗？一个主节点和两个节点，每个节点具有一个大小为10 MB的文件大小的文件的大小对分区的数量有影响吗？
浏览 8提问于2014-10-15得票数 22
我在ADLS中有3个拼花文件
2块文件有10个子块文件，当我在数据库中读取它时，分区的数量等于10个，这是预期的行为。第三个文件有172个 snappy.parquet文件，当我将它作为一个数据文件读取时，分区的数量等于89，原因是什么？使用此命令df.rdd.getNumPartitions()查找数据格式的分区数。
浏览 1提问于2022-07-17得票数 1
回答已采纳
2回答
有人能解释一下为Spark Dataframe创建的分区数量吗？但是对于Spark dataframe，在创建时，我们看起来没有像RDD那样指定分区数量的选项。我认为唯一的可能性是，在创建数据帧之后，我们可以使用重新分区API。
df.r
浏览 1提问于2016-09-07得票数 9
回答已采纳
1回答
关于RDD中的默认分区，我有一个问题。因此，我看到创建了12个分区。 我的理解是，散列分区用于确定哪个对象需要转到哪个分区。因此，在这种情况下，公式将是: hashCode() % 12，但当我进一步检查时，我看到所有的RDD都放在最后一个分区中。myRDD.foreachPartition( e => { println("----------"); e.foreach(println)
浏览 14提问于2021-03-16得票数 0
我有两个很大的json文件，我们在kafka上传输。因此其中一个文件被推入Topic1的分区0，另一个文件被推入Topic1的分区1。我们使用使用水印的spark流查询来连接这些文件并执行必要的计算。虽然我们正在连接这些文件并执行简单的计算，但在Spark UI中，我们确实发现Spark engine已经完成了200多个任务，它占用了超过6个mins.These是一个具有2个内核和
浏览 4提问于2018-08-02得票数 2
1回答
job_type”：“生产者”，"person_id":"af7dc39bc"，"order":"3"，"entity_id":"f2323"}
for(f<-fieldNamesArr){ flattenedFileSchemaList+=
浏览 4提问于2017-02-24得票数 3
回答已采纳
spark中的默认随机分区值是200个分区。我想澄清的是，这个数字是每个输入分区？或者在所有输入分区中，输出分区的数量将是200个？
我看了几份材料，但没有找到我想要的答案。
浏览 1提问于2019-11-03得票数 0
spark sql聚合操作，可以对数据进行混洗，即spark.sql.shuffle.partitions 200(默认)。当混洗分区大于200时，会对性能产生什么影响。当分区数大于2000时，Spark使用不同的数据结构进行混洗记账。因此，如果分区数接近2000，则将其增加到2000以上。但我的问题是，当shuffle分区大于200(比方说300)时，会有什么行为。
浏览 21提问于2020-09-06得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
