应用程序母版或群集管理器是否启动容器/执行者-火花？
提问于 2020-05-31 12:05:28
让我们说，我们有一个火花作业运行在集群模式，其中集群管理器是纱线。
集群模式
- 用户向集群管理器提交一个预编译的JAR、Python .集群管理器告诉特定的节点管理器启动应用程序母版。
- 是火花驱动程序，然后在应用程序母版上运行。驱动程序将包含转换和操作的用户代码转换为一个名为DAG的逻辑计划。然后将DAG转换为物理执行计划
- 应用程序主程序，然后与集群管理器通信并协商资源。请求资源(如首选执行器位置和容器数量)。
此时，集群管理器是分配纱线容器还是应用程序主服务器分配纱线容器？集群管理器是否也会创建火花执行器，或者应用程序主程序是否会这样做？
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-06-01 01:56:15
- 向纱线提交的火花申请转化成纱线
应用程序。因此，当客户端向资源管理器(Yarn组件)提交新的应用程序/作业请求时，
- 。
- 资源管理器(RM)接受作业请求并分配
容器，用于启动给定应用程序/作业的应用程序母版。
应用程序母版可以被认为是一个专门的容器，
将管理/监视应用程序/作业任务。
- 应用程序母版向资源管理器发送请求，请求
运行应用程序/作业所需的资源。
- 资源管理器返回一个容器列表，以及
可以生成的salve节点列表，on.
- Application母版启动容器(如果火花称为
)在每个指定的salve节点上。
首先要理解的是:每个火花执行器都是一个纱线容器。应用程序的火花执行器是固定的，分配给每个执行者的资源也是固定的，火花应用程序占用整个持续时间的资源。这与MapReduce应用程序形成对比，后者在每个任务结束时不断返回资源，并在下一个任务开始时再次分配资源。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62121851
复制相关文章
腾讯云开发者
