引擎网络介绍

最近更新时间:2025-03-12 14:45:03

我的收藏

概念

引擎网络基于 私有网络 进行构建,为计算引擎(标准 spark 引擎、标准 presto 引擎)分配固定网络地址,如:10.255.0.0/16。每个引擎网络提供一个网关,用于外部访问引擎网络中的标准引擎,例如您可以通过 JDBC 从内网(私有网络)或者公网访问计算引擎。
注意:
如果您需要访问不同 VPC 的资源,例如您想要通过 DLC 引擎访问 EMR HDFS 数据,请尽量选择 IP 数量充足且与其他产品使用无冲突的网段。您可在同一个引擎网络下购买多个计算引擎,通过网关进行统一管理。




使用限制

注意:
网段设置要求和 vpc 网段设置保持一致,由您自行创建,且一旦创建成功不支持修改。
1. 支持使用如下私有网段中的任意一个:
10.0.0.0 - 10.255.255.255(掩码范围需在12 - 28之间)
172.16.0.0 - 172.31.255.255(掩码范围需在12 - 28之间)
192.168.0.0 - 192.168.255.255 (掩码范围需在16 - 28之间)
2. 请确保为引擎网络分配 IP 充足的子网,避免创建大规模工作负载时因为 IP 资源耗尽无法创建 Pod。如果不确定规模,推荐使用默认配置。
3. 使用联邦查询时,引擎网段请勿与数据源网段重复。
4. 引擎网络配置:首次开通购买时,允许配置自定义网络配置,后续如需更改,请提交工单申请。

网络划分

每个引擎网络都由一个网关来管理该引擎网络下的标准引擎,所以合理的使用引擎网络划分资源能有效地平衡网关压力,同时也能预防网关单点故障。我们推荐您根据业务部门进行划分或者根据任务类型进行划分。

按业务划分

我们建议您根据业务部门进行划分。例如:一个业务部门至少一个引擎网络。

按任务划分

我们建议您根据任务类型进行划分。例如:按照 BI 分析、数据治理、数据分析等不同任务类型分别创建不同的引擎网络。
说明:
以上引擎网络划分建议是我们根据经验提供的参考,您也可以根据实际情况进行划分,例如根据任务大小,单独划分一个引擎网络处理超大任务集。

内网访问

您可以通过创建 私有连接 实现用户侧的 VPC 与网关建立安全稳定的连接,从而访问标准引擎。您可以在标准引擎的访问管理页面创建一个新的私有链接,选择需要访问的源 VPC 和子网,创建成功后,得到一个访问链接,您可以直接通过源 VPC 下的任意一台机器访问该引擎网络下的标准引擎。


公网访问

您还可以通过公网访问引擎网络下的标准引擎,例如某些部署在公网的 BI 需要通过公网连接引擎。
1. 参考内网访问,创建私有链接。例如:内网访问 JBDC 链接串。
jdbc:hive2://172.22.0.202:10009/?spark.engine={DataEngineName};spark.resourcegroup={ResourceGroupName};secretkey={SecretKey};secretid={SecretId};region=ap-singapore;kyuubi.engine.type=SPARK_SQL;kyuubi.engine.share.level=ENGINE
2. 进入负载均衡,创建新的公网访问实例,选择“配置监听器”。

3. 进入配置监听器界面,选择监听器管理,单击创建 TCP 监听器,端口默认和私有链接端口一致。10009(用于访问标准spark)或者10999(用于访问标准 presto)。

4. 在创建好的监听器上绑定后端服务:选择 IP 类型,并填入上面创建的私有链接IP地址,这里举例为:172.22.0.202,端口10009(用于访问标准 spark)或者10999(用于访问标准 presto)。

5. 通过 CLB 提供的公网 VIP 和端口10009或者10999即可访问引擎资源,访问链接即变成公网访问。
jdbc:hive2://{公网VIP}:10009/?spark.engine={DataEngineName};spark.resourcegroup={ResourceGroupName};secretkey={SecretKey};secretid={SecretId};region=ap-singapore;kyuubi.engine.type=SPARK_SQL;kyuubi.engine.share.level=ENGINE

引擎内访问公网

标准引擎默认不支持访问公网,如果您有访问公网的需求,例如需要在 notebook 上通过 magic %pip 来安装 Python 包,请提交工单申请。