共享引擎和独享引擎的区别是什么?
引擎类型 | 说明 | 计费模式 | 特点 |
共享引擎 | 为当前地域下所有用户公共使用的引擎 | 按量计费:按扫描量计费,不使用不产生任何费用 | 1. 无需配置即可使用 2. 适合数据量较小、临时数据计算场景。 |
独享引擎 | 为用户独享引擎资源 | 按量计费:按 CU 量计费,没有任务时可挂起集群,挂起时不产生任何费用 | 1. 资源独享,支持配置资源规模,弹性伸缩 2. 适合有一定任务量但任务周期不规律的数据计算场景 |
| | 包年包月:按 CU 量计费,集群无需等待随时可用。弹性部分按量计费。 | 1. 资源独享,支持配置资源规模,弹性伸缩 2. 适合任务量大且稳定的数据计算场景 |
一个集群,支持多少任务并行?可以调整吗?
为什么任务实际使用 CU 核数会小于引擎的集群规模中指定的 CU 核数?
以下几种情况都可能导致实际使用 CU 核数小于引擎的集群规模中指定的 CU 数:
1. 集群中有其他任务正在执行。
2. 批作业集群指定的 driver 资源 + executor 资源总数小于集群规模。
3. 按量计费集群,使用时才会发起资源申请,当 CU 核数较多时,不能确保资源完全满足申请的 CU 数。
4. 批处理作业指定了增强型网络配置用于打通其他 VPC 网络,但是其他 VPC 网络的 IP 数不足以启动所有的 executor。
DLC 集群是否可以访问同地域的其他 VPC 下的 IP/服务?是否可以访问外网?
DLC 引擎可以访问同地域下的其他 VPC,需要在 数据引擎 > 网络配置 中创建一个网络配置和目标 VPC 打通,并在批处理作业中指定使用改网络配置。DLC 引擎默认是无法访问外网的。但是通过增强型网络配置,并且目标 VPC 配置了可以访问外网的路由规则,那么 DLC 可以通过增强型网络配置访问外网。
如何修改集群的自动启停时间?


若在任务运行中进行集群变配,是否会导致任务失败?
我们为您罗列了各类引擎在常见任务进行中,若发起变配带来的任务影响,请您参考:
引擎类型 | 购买方式 | 是否会影响任务失败 |
SuperSQL-Spark作业 | 按量计费 | 任务不会受影响 |
| 包年包月 | 当发起集群规格变配时: 扩容集群规格不会影响任务 缩容集群规格,会在流程中等待pod运行结束后再去隔离/销毁缩容的机器,如果任务运行时间长可能导致流程卡住,导致任务重启 |
SuperSQL-SparkSQL | 按量计费 | 当发起集群规格变配时,会导致任务重启 |
| 包年包月 | 当发起集群规格变配 或 减少集群数量时,会导致任务重启 |
SuperSQL-Presto | 按量计费 | 当发起集群规格变配时,会导致任务重启 |
| 包年包月 | 当发起集群规格变配 或 减少集群数量时,会导致任务重启 |

