作业资源配置

最近更新时间:2023-10-08 15:19:01

我的收藏

简介

用户可在作业参数 > 资源配置中配置 JobManager 规格、TaskManager 规格、算子默认并行度。通过资源配置可以配置符合作业需求的计算资源。
流计算服务目前支持三种规格的计算单元:0.5CU、1CU、2CU,JobManager 和 TaskManager 可以分别设置不同的规格。其中0.5CU为细粒度资源,默认只有部分新建集群支持细粒度资源,历史集群将不会出现配置 JobManager 和 TaskManager 的选项,如果您的历史集群有相关需求,可以通过 在线客服 联系我们。



作业实际占用的 CU 数目

作业实际占用的 CU 数目 = JobManager 规格 + TaskManager 规格 × 作业中所有算子最大的并行度。
用户可以通过资源配置下方提示的作业最大可用资源数目,调整规格和算子默认并行度。如图所示该作业最大可用资源为8CU,因此调节 TaskManager 规格为2CU时,算子默认并行度最大值为3。



低资源消耗场景的资源配置

部分作业的场景大多数时间无数据同步,如果使用粒度为1CU的资源会存在浪费。可以按如图所示,调整 JobManager 规格和 TaskManager 规格为0.5,算子默认并行度为1,此时该作业消耗资源1CU,减少了资源浪费。



常见问题

1. 什么是细粒度资源? 细粒度资源是指计算资源单元规格可小于1CU的资源(1CU的具体含义为:CPU 1核、内存 4GB),流计算服务目前支持三种规格的计算单元:0.5CU、1CU、2CU,JobManager 和 TaskManager 可以分别设置不同的规格。
2. 为什么会出现作业实际运行并行度达不到作业最大并行度的情况? 在资源配置中使用细粒度资源的过程中,极小概率可能产生资源碎片影响作业运行,可能产生作业实际运行并行度达不到作业最大并行度的情况。您可以通过合理的资源规格选择来尽量地避免资源碎片。如果产生以上情况,您可通过 在线客服 联系我们解决。