火花任务集并发阶段提交
火花任务集并发阶段提交
提问于 2016-08-12 08:54:29
假设火花作业有两个阶段，具有独立的依赖关系(它们不相互依赖)，并且DAG调度程序将它们并发/同时(作为任务集)提交给任务调度程序。有人能更详细地了解执行器上可用的核心是如何在两个就绪阶段/任务集之间分布的吗？更确切地说：
- 第二个任务集/阶段的任务直到上一个任务集/阶段的任务完成后才会启动？或,
- 来自两个任务集的任务可以根据任务调度器实现的逻辑同时启动(授予核心)，例如FIFO/Fair？
通常，假设一个新的资源提供已经触发了任务调度程序来决定选择一些就绪任务(从n个就绪集中)执行？在这种情况下，任务调度程序实现的逻辑是什么？
谢谢。
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-09-01 10:31:52
这取决于正在使用的调度模式。在TaskSchedulerImpl.scala中，构造函数基于标志"spark.scheduler.mode“解析调度模式。默认值是FIFO，在这种情况下，在提供给第二个任务集之前，首先将所有内核分配给第一个任务集。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/38913876
复制相关文章
相似问题
腾讯云开发者
