当Spark找到一个动作时，是运行直到该动作的每一行代码，还是只运行与该动作相关的转换？
当Spark找到一个动作时，它只运行与该动作相关的转换。
Spark是一个快速、通用的集群计算系统，它通过将数据分布在集群中的多个节点上进行并行处理，以实现高效的数据处理和分析。在Spark中，数据处理过程通常包括两个主要的操作类型：转换（Transformation）和动作（Action）。
转换操作是指对数据进行转换和处理的操作，例如过滤、映射、排序等。这些转换操作只是定义了数据的处理逻辑，并不会立即执行，而是构建了一个有向无环图（DAG），表示数据处理的流程。
动作操作是指对数据进行实际计算和触发的操作，例如对数据进行聚合、计数、收集等。当Spark遇到一个动作操作时，它会根据之前构建的DAG图，从头开始执行与该动作相关的转换操作，直到达到该动作所在的位置，然后执行该动作并返回结果。
因此，当Spark找到一个动作时，它只会运行与该动作相关的转换操作，而不会运行与该动作无关的转换操作。这种延迟执行的特性使得Spark能够进行优化，避免不必要的计算，提高计算效率。
对于这个问题，腾讯云提供了一系列与Spark相关的产品和服务，例如腾讯云EMR（Elastic MapReduce）和腾讯云DLS（Data Lake Service）。EMR是一种大数据处理和分析服务，支持Spark等多种计算框架，可以帮助用户快速搭建和管理大数据处理集群。DLS是一种大数据湖存储服务，提供了与Spark集成的功能，可以方便地进行数据的存储和分析。
更多关于腾讯云EMR和DLS的详细信息，请参考以下链接：
- 腾讯云EMR产品介绍：https://cloud.tencent.com/product/emr
- 腾讯云DLS产品介绍：https://cloud.tencent.com/product/dls
相关·内容
1回答
当Spark找到一个动作时，是运行直到该动作的每一行代码，还是只运行与该动作相关的转换？
apache-spark
Int] = {4,5,6,7} 第1行： x = x.map(x => x+1) 第2行： y = y.map(y => y+1) 第3行： x.collect().foreach(println) spark
浏览 14提问于2019-06-04得票数 0
回答已采纳
1回答
Apache Spark中的惰性评估
hadoop、apache-spark
我正在尝试理解Apache spark中的延迟计算。我的理解是：步骤：3)然后我在RDD2上应用过滤器并创建RDD3 (仍然没有数据加载到内存中，RDD3也是一个数据定义所以当我执行这个操作的<
浏览 2提问于2018-03-04得票数 1
4回答
Spark dataframe添加新的列问题-结构化流
apache-spark、spark-structured-streaming
我正在使用spark Structured。我有一个数据帧，并添加了一个新列"current_ts“。inpuDF.withColumn("current_ts", lit(System.currentTimeMillis()))
这不会使用当前纪元时间更新每一行。当作业被触发时，它更新相同的epcoh时间，从而使DF中的每一行都具有相同的值。这在正常的</em
浏览 1提问于2018-04-01得票数 4
2回答
SKAction repeatActionForever非产卵实体
objective-c、sprite-kit、performselector、spawning
基本上，我有一个派生实体函数，理论上，它应该在屏幕上生成一个具有特定属性的随机气球。此外，我还尝试将一个NSLog放入代码中，以查看它在执行重复操作时是否正在执行，而且确实如此。唯一的问题是气球没有被添加到屏幕上。我的感觉是，当我通过spawnBalloon调用repeatActionForever函数时，self指的是一个不同的类？很抱歉，如果这让人感到困惑，我
浏览 0提问于2015-06-09得票数 1
回答已采纳
1回答
获取在控制器中无法访问的元素的ID
ruby-on-rails、view、action
在我的项目中，我显示了模型数据库中的所有行。然而，我是在另一个模型的首页上这样做的。而且我有一个与每一行相关联的按钮，这样当单击时，它将在关联的模型上执行相关的操作。我希望我的问题足够清楚。在每个老师的索引页面中，我将他的所有学生显示为<e
浏览 0提问于2013-04-26得票数 0
回答已采纳
1回答
通过Yarn集群与客户端提交时的火花输出
apache-spark、pyspark、hadoop-yarn
我刚开始使用Spark，它刚刚在我的集群上运行(Spark2.0.1在运行Community的MapR的9个节点集群上)。我提交的单词计数示例通过并获得以下输出
17/04/07 13:21:34 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set当我添加--deploy-mode
浏览 1提问于2017-04-07得票数 0
回答已采纳
1回答
UITapGestureRecognizer不与UIButton一起使用
ios、objective-c、uibutton、uitapgesturerecognizer
currentImageId1 %d",currentImageId1); }
我已经创建了一个自定义单元的UITabelView，它有三个图像，每个row.When点击一个图像hadlePress方法called.But我不进来第一个如果条件。
浏览 1提问于2013-03-07得票数 0
回答已采纳
1回答
Apache火花中的DAG创建
apache-spark、pyspark、bigdata
在Apache中，我知道当我使用一些转换函数时，所有函数都存储为DAG，当我调用action Spark时，将运行从该DAG到Action函数所需的所有转换函数。所以，假设我有
因此，我的问题是，在第二步调用第一个操作之后，是否删除了该进程，当第
浏览 0提问于2018-05-28得票数 0
回答已采纳
1回答
一次性调用所有Spark函数比单独调用它们更快吗？
performance、function、pyspark
我想知道一次性调用Spark (PySpark)函数是否比单独调用它们更快或更高效？我很好奇这是如何处理的，以及我是否会因为将事情分解为单独的操作而搬起石头砸自己的脚。
浏览 18提问于2019-10-29得票数 0
回答已采纳
3回答
增强学习中的SARSA算法
algorithm、machine-learning、reinforcement-learning
我在无模型强化学习中遇到了SARSA算法.具体来说，在每个状态中，您将采取一个操作a，然后观察一个新的状态s'。我的问题是，如果你没有状态转移概率方程P{next state | current state = s0}，你怎么知道你的下一个状态是什么？我的尝试：你是简单地尝试这个动作a out，然后从环境中观察吗？
浏览 4提问于2018-05-15得票数 0
回答已采纳
3回答
动作内存管理:什么时候发布？
cocos2d-iphone
当你给一个精灵添加一个动作时，由于Cocos中的大多数东西都是自动释放的，那么它是不是在完成后释放呢？或者，因为您将其添加到节点，所以它是否由该节点保留？如果该操作随后结束，要么是因为它自己完成了，要么是因为您自己停止了它，那么它是随后被释放还是仍然可以在以后运行？我之所以这样问，是因为我想知道你是否需要重新创建动作来重用它们，或者你是否可以简单地引用它们的标签，并在任何时候随意启
浏览 1提问于2011-12-02得票数 1
回答已采纳
1回答
Swift Spritekit修改动作
swift、sprite-kit、skaction
我正在制作一个IOS游戏与Spritekit斯威夫特，我有一个玩家雪碧，我想旋转和移动到一个触摸在屏幕上。目前，我得到的角度，创建动作的转弯，运行的行动，并做同样的运动。这对于一次触摸效果很好，但是当触摸移动时，我现在想做同样的操作。首先，我尝试删除该操作，然后运行新的操作，精灵抖动或根本不移动，因为该
浏览 3提问于2016-06-28得票数 0
回答已采纳
2回答
Spark DAG阶段数
apache-spark、rdd
在使用spark RDD时，我知道每次我们有一个ShuffleRDD都会创建一个新的阶段，但是当我们有多个操作时会创建一个新的阶段吗？saveAsTextFile("location1")现在Stage1将具有与rdd1、rdd2和rdd3相关的<
浏览 0提问于2016-12-23得票数 0
1回答
用update CCMoveTo将一个长CCMoveTo替换为多个Cocos2D
cocos2d-iphone
目前，我有一个游戏，其中一个对象决定一个点去。然后，它计算到该点的路径，并构造一个长的CCMoveTo动画以到达该点。使用这种方法，动画看起来非常流畅和连续。我之所以想这样做，是因为在对象通过的路径的每一个节点上，都可能会分散注意力，我希望我的对象能够对此进行操作。object:self]];
[self moveTo: nextNode withCallbacks
浏览 1提问于2013-01-22得票数 0
回答已采纳
1回答
其中内部调度表。在addTarget:action:forControlEvents中：
iphone、uiapplication、uicontrol
addTarget: action :forControlEvents:将特定事件(或多个事件)的目标和操作添加到内部调度表。
我无法underStand调度表。在UIControl或UIApplication或其他地方的桌子？
浏览 0提问于2012-07-22得票数 1
1回答
在Axios中使用Redux和Redux-诺言有什么区别？
reactjs、redux、redux-thunk、axios、redux-promise
生态系统中最令人困惑的部分之一是异步数据流。有许多很好的解决方案可用，选择正确的解决方案，您的问题是困难的部分。考虑到这个可伸缩的应用程序，我可能需要在我的动作创建者中链接多个axios调用。我认为我仍然可以使用Red
浏览 3提问于2016-05-01得票数 15
回答已采纳
3回答
JButtons的Instanceof、Enum或多个侦听器
java、model-view-controller、enums、actionlistener、instanceof
在我的swing GUI上，我有一行数据和一些按钮，用户选择了许多项，然后选择一个按钮。每个按钮对数据应用不同的规则，因此每个按钮都需要调用不同的函数，我使用的是MVC设计模式，我的问题是，我应该如何处理每个按钮的不同需求？创建一个类'MyButton‘，它扩展了JButton，然后给出某种类型的Enum，然后我可以创建一个动作监听器，
浏览 2提问于2013-02-18得票数 1
回答已采纳
1回答
您能否简要解释一下oozie作业如何根据LIFO、FIFO和LASTONLY设置来确定作业的优先级。主要需要LIFO和LASTONLY之间的区别和时序示例。
浏览 1提问于2019-06-19得票数 0
1回答
当变量的值发生变化时调用函数
javascript、reactjs、react-redux
随着视频的发展，我想检查一下我的currentTime是在startTime还是endTime之间，其中任何一个json都在数组中。所以我想做一个检查函数。随着currentTime的不断变化，我设置了一个间隔为500 milisec来比较currentTime与startTime和endTime。我有一个函数，它的运行间隔为500 ms，如下所示
setInterval(func
浏览 2提问于2017-02-15得票数 0
回答已采纳
1回答
时间线操作为将来结束的操作呈现不正确的动词时态
facebook、facebook-timeline
我正在将活动的动作发布到时间线上("Dave出席...“，"Dave正在参加...”)start_time = {now}；end_time ={事件时间}似乎当我执行多个动作时，时态被正确地选择为“正在参加”。(这是使用大应用程序图标的UI，它旁边列出了多个操作。)但是，当我只执行
浏览 0提问于2012-01-27得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
