parallelize调用中的numSlices被后面的coalesce覆盖
在Spark中，parallelize是将一个已有的集合转化为分布式数据集（RDD）的方法。它将集合切分成多个分区，并在集群中的多个节点上并行处理这些分区。在parallelize方法中，numSlices参数用于指定切分成的分区数。
而coalesce是Spark中的一个操作，用于减少RDD的分区数。它将多个分区合并为较少的分区，以减少数据的传输和处理开销。coalesce方法可以通过传递参数shuffle来触发数据的重新分区，但默认情况下，它只是简单地合并分区而不进行数据的洗牌操作。
在给定的问答内容中，numSlices参数在parallelize调用中指定了切分成的分区数。然而，后面的coalesce操作可能会覆盖这个参数的设置，导致分区数发生变化。
如果我们想确保在coalesce操作后分区数不变，可以使用repartition方法代替coalesce方法。repartition方法会触发数据的洗牌操作，确保分区数的改变。
总结起来，parallelize调用中的numSlices参数用于指定切分成的分区数，而后面的coalesce操作可能会覆盖这个设置。如果需要保持分区数不变，可以使用repartition方法代替coalesce方法。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
相关·内容
1回答
parallelize调用中的numSlices被后面的coalesce覆盖
apache-spark、pyspark
我有以下代码：huge_rows = index.map(heavy_processing)bbox2d_dataframe = bbox2d_dataframe.coalescebbox2d_dataframe.write.option("compression", "none&
浏览 0提问于2018-01-12得票数 1
回答已采纳
2回答
为什么在带有1行的DataFrame上收集()使用2000执行器？
python、apache-spark、pyspark、hadoop-yarn、distributed
这是我能想到的最简单的DataFrame。我使用的是PySpark 1.6.1。[ (1, 2) ]df = sqlContext.createDataFrame(rows, cols)
因此，数据框架完全适合内存，没有对任何文件的引用DataFrame不应该完全存储在驱动程序的内存中吗？
浏览 5提问于2016-06-21得票数 5
回答已采纳
1回答
SparkContext中的并行化()方法
apache-spark
我试图理解将不同的numSlices赋予SparkContext中的parallelize()方法的效果。给出的是方法的Syntax(implicit arg0: ClassTag[T]): RDD[T]
我在本地模式中运行了火花壳。spark-shell --
浏览 1提问于2015-11-18得票数 19
回答已采纳
1回答
函数对象的分布式执行
scala、akka、rpc、apache-spark、finagle
val h : (Double,Double) => Double = (x:Double,y:Double) => x+yval fx = f(1)val g2x = g2( fx )所以
res在IP 1中计算。Scal
浏览 3提问于2014-08-18得票数 0
回答已采纳
1回答
星火中UDF调用的计数
scala、apache-spark、apache-spark-sql
使用Spark1.6.1，我想调用UDF的调用次数。我之所以想这样做，是因为我有一个非常昂贵的UDF (每次调用1秒)，并且我怀疑UDF被调用的频率比我的数据文件中的记录数量还要多，这使得我的火花工作比必要的慢。虽然我无法重现这种情况，但我想出了一个简单的例子，说明对UDF的调用数似乎与行数不同(这里:较少)，
浏览 1提问于2016-10-29得票数 5
回答已采纳
1回答
用单个文件写入数据n火花scala
scala、apache-spark
我试图使用scala编写单个文件中的数据： val getReq = new HttpGet(ww.url.com)
val df = context.sparkContext.parallelize(Seq(reviewMap.get("records").get
浏览 0提问于2020-11-02得票数 0
回答已采纳
3回答
如何在RDD map操作中更新全局变量
scala、apache-spark、global-variables、rdd
我有RDD[(Int，ArrayDouble)]，之后，我调用了classFunction (6.0,2.4,7.8)), ) val new_class = new ABC类中，在demo()中声明了新变量new_value =0。在映射操作之后，new_value得到更新，并在映
浏览 6提问于2017-07-05得票数 1
回答已采纳
3回答
Java -如何检查点在圆的切片内
java、math、geometry
我画了一个圆，我想把它画出来，这样我就可以有比四个更多的切片。我可以很容易地做四个象限，因为我只是检查鼠标是否在圆圈和框内。{}{}
如果圆被分成4个以上的区域，我如何修改它？
浏览 0提问于2013-03-02得票数 0
回答已采纳
1回答
从Synapse笔记本覆盖Azure datalake 2中的文件会引发异常
pyspark、azure-databricks、azure-synapse、azure-data-lake-gen2
我们需要覆盖它，并使用以下命令。df.coalesce(1).write.option("delimiter", ",").csv(csvFilePath, mode = 'overwrite', header = 'true')
这样做的是，它删除路径"csvFilePath“处的现有文件，失败时出现了错误，"Py4JJavaError:调用o617.csv时发生了错误”。我注意到的事情
浏览 4提问于2022-05-20得票数 0
1回答
如何根据数据类型过滤数据？
scala、apache-spark、apache-spark-sql、spark-dataframe
考虑到这样的数据： "Key1, foobar, 10, twenty, 20",val df_mydata = sqlContext.read
.format("com.databri
浏览 4提问于2017-09-15得票数 2
回答已采纳
1回答
DAG与火花处决
apache-spark、directed-acyclic-graphs
我试图更好地理解火花内部，我不知道如何解释工作的结果DAG。受中描述的示例的启发，我在shell中运行了下面的代码，以获得200万到200万之间的素数列表。val n = 2000000 val composite = sc.parallelize(2 to n, 8).map(x => (x, (2 to (n / x)))).flatMap(kv =>kv._2.map(_ * kv._1)) val prime = sc.<
浏览 2提问于2017-01-13得票数 3
回答已采纳
1回答
Apache :缓存和分区
caching、collections、apache-spark、rdd
val testRDD = sc.parallelize(Seq(elementA, elementB, elementC)).)：(2, List(1, 3))(4, List(1, 3))
RDD中的每个分区分别和全部缓存(例如，我有包含100个元素和4个分区的集合，我调用</em
浏览 2提问于2015-07-06得票数 1
回答已采纳
2回答
如何在SataFrame中填充缺失的值？
scala、apache-spark、dataframe、apache-spark-sql
在查询mysql db并构建相应的数据框架后，我将看到以下内容：|id| sport----+------+string (nullable = true)
因此，我希望将所有空行更改为"null"，以便能够将空单元格和单元格视为"null“，可能不会留下RDD的数据帧
浏览 3提问于2016-04-11得票数 0
回答已采纳
1回答
在扩展的内容脚本中使用document.write加载脚本
javascript、google-chrome、dom、google-chrome-extension、content-script
如果脚本包含：如果在请求加载页面之前将其包含在html中，它可能如下所示：<!页面将导致<iframe>被放置在包含脚本的<div>标记中。如果在页面加载后调用document.write()，它将覆盖整个页面。Chrome扩展的内容脚本也会用docu
浏览 1提问于2013-11-12得票数 1
回答已采纳
1回答
JPA中合并或Case语句的使用
hibernate、jpa、jpa-2.0、criteria-api、coalesce
如何使用coalesce或case statement在JPA 2中使用CriteriaBuilderCriteriaBuilder cb = entityManager.getCriteriaBuilder();
浏览 2提问于2013-07-29得票数 4
回答已采纳
1回答
画布上的图像未显示
android、ondraw
我是Android的新手，但是为什么我的图片不能显示在画布上？我知道它工作正常，因为背景颜色是黑色，我用相同的方法onDraw更改了它。有谁可以帮我？提前感谢！
浏览 0提问于2013-01-06得票数 0
回答已采纳
1回答
路线间的颤振加载屏
javascript、android、ios、flutter、dart
主页显示了多篇文章，您可以单击这些文章，并在文章页面中显示该文章。当导航到文章页面时，我在文章页面的initState中使用一个调用来加载一个间隙。我使用命名路由在页面之间导航。我想要实现的是，当用户点击主页上的一篇文章，他被导航到文章页面在背景中，而与加载动画全屏覆盖。文章页面应该在后台打开，以便在客户端看到它之前可以用服务器图像和文本呈现它。在覆盖出现后，我将调用interstitial函数。如
浏览 23提问于2020-02-04得票数 1
在显示带有进度指示器的覆盖视图时，我遇到了一个非常奇怪的用户交互问题。在主视图上，我有上一个和下一个按钮，然后单击next按钮，我进行了一个web服务调用，在这个过程中，我显示了一个带有进度指示器的覆盖视图，如下所示。当显示overlay视图时，单击上一步或下一步按钮，事件正在排队，并在web服务调用完成后被调用。不知道为什么在web服务调用完成后，事件会被排队并
浏览 5提问于2012-01-03得票数 1
1回答
(ruby on rails)如何覆盖放在lib/中的模块方法
ruby-on-rails、methods、module、overriding
Basic < ApplicationController p "module method" end在environment.rb中对该库的:Initializer.run do |config|end
但在时间上，我想覆盖上面的方法因此，我将覆盖方法放在"con
浏览 3提问于2012-03-11得票数 0
2回答
如何安装python的覆盖率模块并在Windows命令行中使用它
python、code-coverage、coverage.py、python-coverage
我希望学习如何使用python的coverage.py模块来检查代码的覆盖模式。我试着从不同的来源阅读这个工具，最后使用'pip‘工具将它安装在我的windows 7机器上。安装后，覆盖率模块被安装在C：\Python27 27\Lib\site-packages中。
现在，我正在阅读关于如何使用这个页面的说明：。我按照本页给出的安装说明进行了操作。但是，安装之后，我不确定如何使用命令行<
浏览 1提问于2012-07-15得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
