我有一个名为df的DataFrame，我想知道在将数据读入DataFrame时是否可以创建分区 和 我还想知道如何才能找到DataFrame中的分区数量。我搜索了多个显示以下df.rdd.getNumPartitions()的答案，但默认情况下它只返回1。 我尝试了coalese()和repartition来改变粒子的数量。 请
浏览 102提问于2021-08-20得票数 0
回答已采纳
1回答
我知道RDD是根据键值使用HashPartitioner进行分区的。但是Spark在默认情况下是如何分区的，因为它没有键/值的概念。
浏览 3提问于2021-02-26得票数 3
回答已采纳
有了sql，我们可以缩小分区的数量，我想要在spark DataFrame.coalesce中使用的相同功能，所以我会问如何编写sql， 在spark sql中，我希望select * from a只有10个分区，实际上可能有100个以上的分区
浏览 7提问于2019-03-21得票数 0
我需要一些帮助来理解Spark如何决定分区的数量以及它们是如何在执行器中处理的，对于这个问题我感到很抱歉，因为我知道这是一个重复的问题，但是即使在阅读了很多文章之后，我仍然无法理解我正在使用的实际生活用例，以及我的星火提交配置和集群配置。spark.speculation=true \
我正在使用</e
浏览 3提问于2017-09-01得票数 1
1回答
星火拼花数据帧分区数目
、、、
rdd partitions: {}", dataFrame.rdd().getNumPartitions());
我使用spark.executor.instances=3和spark.executor.cores=4在集群上运行它。我可以看到，在3个执行器X4核=12个任务中，对拼花文件的读取是分开的：
spark.SparkContext:
浏览 3提问于2017-06-28得票数 4
1回答
the previous spark dataframes
现在，上述每个操作都需要不同数量的分区。选择行需要许多分区，比如100个分区。合并需要很少的分区，比如10个分区。如何强制在步骤1和步骤2以及步骤2和步骤3之间重新分区？我知道，当我调用data = data.repartition(7)时，它会被延迟计算，所以只有在实际保存时才会重新<
浏览 2提问于2017-08-01得票数 6
回答已采纳
2回答
有人能解释一下为Spark Dataframe创建的分区数量吗？但是对于Spark dataframe，在创建时，我们看起来没有像RDD那样指定<e
浏览 1提问于2016-09-07得票数 9
回答已采纳
我对spark dataframe的分区数量有疑问。如果employee表有10个不同的位置因此，在HDFS中，数据将被划分为10个分区。
如果我通过读取Hive表(Employ
浏览 0提问于2017-05-10得票数 4
我想要将数据写入输出文件夹，而不使用标准格式spark： ? 有没有办法输出只有一个特定的文件名和扩展名(json)的数据？ 提前感谢您的帮助！
浏览 19提问于2019-12-10得票数 1
回答已采纳
1回答
如果我通过spark文本文件API加载一个csv文件，我的RDD是分区的吗？如果有，电话号码是多少？有人可以解释一下Apache Spark中默认并行的含义。
浏览 2提问于2015-11-30得票数 0
1回答
(我们知道如何组合shard S+update= new shard S) 如果这就是我们的设计，我们需要(1)通过它的一列(比如:列K)将DataFrame分片到|range(K)|分区中，其中保证分区中的所有行在列这是一个好的设计，还是Spark提供了一些开箱即用的东西，让我们的任务变得更容易？ 我们应该使用哪个Spark类
浏览 19提问于2019-05-03得票数 2
回答已采纳
我已经设置了一个包含4个worker(每个有4个核心)和1个master的spark独立集群。每台都有Windows10操作系统。我向我们的spark独立集群提交了spark的ML示例: multilayer_perceptron_classification.py。但它是将所有任务都交给一个执行者在一个worker上执行。enter image description here 火花代码是(代码使用multilayer_perceptron_clas
浏览 33提问于2019-02-26得票数 0
回答已采纳
我正在构建一个接近实时/微批处理的数据应用程序，使用Cassandra作为查找存储。每次增量运行有大约40K条记录，而Cassandra表有大约1.5亿条记录。在每次运行中，我需要查找id字段并从Cassandra获取一些属性。这些查找可以是随机的(不是任何时间/地区/国家的依赖)，因此没有明确的分区方案。我应该如何对Cassandra表进行分
浏览 19提问于2019-09-19得票数 0
1回答
我正在尝试使用Spark处理集群上的csv文件。我想了解是否需要显式读取每个工作节点上的文件来并行处理，还是驱动节点读取文件并在集群中分发数据以便内部处理？(我正在使用Spark2.3.2和Python)
浏览 0提问于2019-04-03得票数 5
我正在使用重新分区的列，以存储数据在拼花。但我看到了不。分割后的文件与否文件不相同。Rdd分区。rdd分区和拼板分区之间没有关联吗？当我将数据写入parquet分区并使用Rdd重新分区，然后从parquet分区读取数据时，rdd分区号在读/写过程中是否存在相同的条件？如何使用列id对
浏览 2提问于2018-09-26得票数 13
回答已采纳
2回答
我想知道星火是否知道分割键的地板文件，并使用这些信息，以避免洗牌。运行Spark2.0.1运行本地SparkSession。之后，在另一个脚本中，我读取了这个SomeFile.parquet拼板文件，并对其进行了一些操作。如果它不知道，我如何告诉斯派克数据已经被正确的列分区了？
如何检查DataFrame的分区键？这有命令吗？我知道如何检查
浏览 0提问于2018-01-26得票数 21
回答已采纳
我有一个自定义的Spark数据源，它是使用data source实现的，我正在尝试将其转换为V2 V1。在Spark API中，V1将输入DataFrame传递给CreatableRelationProvider的createRelation方法 https://spark.apache.org/docs/latest/api/java/org&#
浏览 41提问于2021-05-08得票数 0
在Apache Spark中，对于"Spark-submit“命令，是否存在一个”标志“来控制并行级别。
浏览 0提问于2016-08-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
