问Apache能够平均分配时隙共享组吗？

EN

我找到了一个解决办法，使插槽共享组的分布均匀。

从flink 1.9.2开始，甚至引入了任务分发特性，它可以通过cluster.evenly-spread-out-slots: true在flink-conf.yaml：FLINK-12122在所有可用的注册TaskManagers中均匀地分配任务。中打开。我试着启用它，但没有起作用。在深入研究之后，我找到了开发人员的评论，其中指出，该功能只在独立模式下工作，因为它需要预先分配的资源- https://issues.apache.org/jira/browse/FLINK-12122?focusedCommentId=17013089&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-17013089"。

该功能只保证将任务分散到在调度时注册的TMs集合中。因此，当您使用active Yarn模式并提交第一个作业时，就不会有任何TMs注册。因此，Flink将分配第一个容器，填充它，然后只分配一个新容器。但是，如果您在独立模式下启动Flink，或者在您的第一份工作完成后，仍然有一些TMs注册，那么下一个工作将被分散。

因此，我们的想法是使用增加的空闲容器超时设置启动分离纱段，首先提交一些短活假作业，这将简单地从纱线中获取所需的资源并完成，然后立即启动将分配给已经分配的容器的主管道，在这种情况下，cluster.evenly-spread-out-slots: true完成了对所有插槽共享组的分配。

因此，总括而言，以下是为了在工作中得到分布均匀的时隙共享组而做的：

1. 增加了resourcemanager.taskmanager-timeout，以便在为空闲任务管理器释放的容器之前提交主作业。我把这个增加到1分钟，这就足够了。
2. 启动yarn-session并向其动态提交作业。
3. 调整主任务，以便首先调用一个简单地分配资源的假作业。在我的例子中，这段简单的代码在配置主管道之前完成了这个任务：

val env = StreamExecutionEnvironment.getExecutionEnvironment

val job = env
    .fromElements(0)
    .map { x =>
        x * 2
    }
    .setParallelism(parallelismMax)
    .print()

val jobResult = env.execute("Resources pre-allocation job")
println(jobResult)

print("Done. Starting main job!")

我试过一次来实现这一点，但问题是，Flink没有提供一个功能来启用操作员的位置。我可以得到的接近是使用.map(...).slotSharingGroup("name");。正如有关"集槽共享组“的文档所述：

设置操作的时隙共享组。Flink将把具有相同时隙共享组的操作放到相同的时隙中，同时保持在其他时隙中没有时隙共享组的操作。这可以用来隔离插槽。如果所有输入操作都在同一个时隙共享组中，则从输入操作继承时隙共享组。默认插槽共享组的名称为“默认”，可以通过调用slotSharingGroup(“默认”)显式地将操作放入该组。 someStream.filter(...).slotSharingGroup("name")；

因此，我根据任务插槽的数量以及并行性定义了不同的组。