2回答
我正在运行pyspark作业，并且在我的本地机器上使用pycharm，当我的作业运行时，我在控制台中看到以下输出： [Stage 1:========>(9 + 8) / 64] 我感兴趣的是(9+8)/64是什么意思？
浏览 21提问于2020-12-04得票数 0
1回答
我正在努力理解如何在spark中定义作业和阶段，为此，我现在正在使用我找到的和spark的代码。为了在spark上看到它，我不得不多次复制和粘贴文件上的文本，因此需要更多的时间来处理。以下是spark的输出：现在，我知道有三个作业，因为有三个动作，而且这些阶段是由洗牌动作产生的，但我不理解的是为什么
浏览 4提问于2016-12-31得票数 9
回答已采纳
我来自MapReduce的背景，而且我对Spark还是个新手。我找不到一篇解释MapReduce和Spark之间架构差异的文章。到目前为止，我的理解是MapReduce和Spark唯一的区别是“内存”处理的概念。也就是说，Spark有映射/减少阶段，它们可能在集群中的两个不同节点上运行。具有相同密钥的对被转移到相同的减
浏览 0提问于2015-03-10得票数 0
在Spark中，在几次连接之后，DAG图可能会变得非常复杂，例如：有没有办法让它更容易理解，第一，命名Spark数据集，第二，用它计算(或帮助计算)的数据集标记每个阶段，以便我们可以追溯到代码
浏览 0提问于2018-09-25得票数 3
我正在用下面的代码读取一个csv文件上面的代码是为每个作业创建一个阶段的两个作业。一个用于读取标头的工作，另一个用于推断架构。这是我能理解的。作业，即读取模式，只有一个阶段，有许多
浏览 5提问于2022-09-29得票数 0
回答已采纳
我有一个关于火花执行的问题。我的问题是哪一个是正确的-一个作业集合对应于一个动作，还是每个作业对应一个动作。这里的job是指可以在Spark execution UI中看到的作业。谢谢。
浏览 1提问于2019-10-30得票数 1
spark中的默认随机分区值是200个分区。我想澄清的是，这个数字是每个输入分区？或者在所有输入分区中，输出分区的数量将是200个？
我看了几份材料，但没有找到我想要的答案。
浏览 1提问于2019-11-03得票数 0
我正在查看Spark UI DAG可视化代码，发现了以下： val fromThisGraph = nodes.containsshould never happen根据我的理解，内部边缘表示阶段内RDD之间的边缘，传入边缘
浏览 0提问于2017-06-28得票数 1
我一直在探索Spark中的全阶段代码生成优化(也称为全阶段编码元)，并且一直在想，在“同时阶段”中有多少“阶段”来自于火花核心对一个阶段(一个火花作业)的意义？在Spark和Spark的全阶段代码生成阶段之间有什么技术关系吗？还是更广泛地用来指计算中的“阶段”？
浏览 2提问于2017-12-13得票数 3
回答已采纳
2回答
在我的开发环境(Eclipse)上尝试应用程序时，我希望使用多个执行器并行运行Spark应用程序。似乎火花引擎序列化了所有的任务，并使用一个执行器运行它们。是否有选项可以在Eclipsewithspark.master=local中并行运行两个或多个任务？
浏览 1提问于2014-12-20得票数 3
回答已采纳
在Spark中对DataFrame进行排序时，幕后会发生什么？例如,df.sort(i)
我知道当您将数据读取到DataFrame时会发生什么，但是我很好奇当您排序时会发生什么
浏览 2提问于2018-08-14得票数 0
我正在运行一个虚拟的spark作业，它在每次迭代中执行完全相同的一组操作。下图显示了30次迭代，其中每个作业对应于一个迭代。可以看到，除了作业0、4、16和28之外，持续时间始终在70ms左右。第一次加载数据时，作业0的行为是预期的。
我想知道Spark把(2000 - 64)毫秒花在工作16上了吗？
浏览 2提问于2017-06-26得票数 1
当我试图优化一个火花工作时，我很难理解第二个和6-7s第三和第四执行者的发射延迟3-4秒。
这项工作分为三个阶段。正如所见，第二、第三和第四遗嘱执行人仅在第二阶段增加。
下面是第0阶段的快照。
随着第一阶段的结束。
执行者3和4(对第二个工人)花费
浏览 0提问于2020-01-26得票数 1
1回答
理解火花异步操作
、、
我有一个用于Spark的Java代码：
SparkConf sparkConf = new SparkConf().set("spark.scheduler.mode", "FAIR");我在等待火花在同一时间做两个不同的动作。但是在星火应用程序UI中，我看到了两个阶段，但其中一个阶段等待开始，直到另一个阶段完成。我在等待两个不同的阶段同时工作，我错了吗？foreach
浏览 4提问于2017-09-21得票数 2
回答已采纳
2回答
执行顺序和缓存需求
、、、、
的tasks的DAG中，有两个分支，在创建rdd1之后。如果是，我们是否可以假设在计算rdd3时使用的rdd1仍然在内存中处理？或者我们必须缓存rdd1，以防止重复加载它？更一般的情况是，如果DAG看起来像这样：
我们是否可以假设两个分支都是并行计算的，并且使用相同的rdd1副本？或者Spark driver会一个接一个地计算这些分支，因为这是两个不同的阶段？我知道在执行之前，spark<
浏览 1提问于2018-05-08得票数 2
如果我的理解是正确的，火花申请可能包含一个或多个工作。作业可以分为阶段，阶段可以划分为任务。我或多或少可以在星火用户界面中遵循这一点(或者至少我认为是这样)。但我对SQL选项卡的含义感到困惑。特别是：为了理解，我一直在列举一些例子，
浏览 3提问于2021-07-28得票数 1
我使用Spark将2100万条记录插入到Cassandra表中。spark作业大约需要一个小时，并成功插入所有记录，但在最后阶段(62/63)挂起。我的Spark属性：spark.executor.cores 1spark.executor.memory4g
将记录插入到Cassandra并在最后<e
浏览 1提问于2018-06-23得票数 0
我是新的火花，并试图理解它的内在。因此，我从s3读取一个小的50 to的拼板文件，然后按组执行，然后保存回s3。当我观察Spark时，我可以看到为此创建的3个阶段，第1阶段:分组的洗牌阶段(12项任务)代码示例：
df = spark.read.format所以，默认<em
浏览 2提问于2020-08-06得票数 5
回答已采纳
3回答
我知道Spark可以使用Scala、Python和Java来操作。此外，RDDs还用于存储数据。
但是请解释一下，Spark的架构是什么，它是如何在内部工作的。
浏览 0提问于2015-06-07得票数 38
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
