网关介绍

最近更新时间:2025-03-12 14:45:03

我的收藏
DLC 网关是基于 Apache Kyuubi 深度优化的 Serverless 统一接入网关服务。通过网关,您可基于 Hive JDBC/Presto JDBC/DLC JDBC/腾讯云 API 标准接口,实现对 DLC 数据及标准计算引擎的稳定、安全访问,降低大规模的计算引擎访问管理的复杂度。如您可以将 SQL 任务,ETL 作业通过网关,提交到指定标准计算引擎。




网关价值

网关是 DLC 标准引擎独有服务,可以为用户带来降低查询时延、安全高可用及灵活接入等优势:
降低查询时延:DLC 网关可显著降低查询链路耗时,提升尤其是小数据量交互式分析性能表现。
更多接入方式支持:网关支持 Hive JDBC/Presto JDBC 连接 DLC 标准引擎,满足多种查询场。
企业级高安全性:通过 CAM 鉴权参数(AK/SK)进行身份验证、子用户引擎权限控制。
高可用性:网关提供更高的可用性和负载均衡,支持扩容以承载极高的并发查询。

网关架构

如图一个引擎网络下只支持创建一个网关。该网关同时管理所有创建在该引擎网络下的标准 Spark 引擎、Presto 引擎。
默认用户仅可拥有一个引擎网络,只能创建一个网关。如果业务场景复杂,对并发等性能要求较高,或者部分业务重要性更高需要做到环境隔离,推荐用户创建多个引擎网络和多个网关,对不同任务进行物理隔离。
注意:
1. 创建多个引擎网络和网关需要后台开放白名单,请 提交工单 申请。
2. 不同引擎网络和网关之间进行物理隔离,之间不能互通,也不能访问对方的引擎。


新建引擎网络和网关

在未打开白名单的情况下,用户默认拥有一个引擎网络。用户无需自己手动创建网关,在用户在该引擎网络下创建第一个引擎或者提交第一个任务的时候,DLC 会默认在该引擎网络下创建一个规格为2CU的免费网关。
开启白名单之后,用户可以创建多个引擎网络,如下图所示。用户可以通过单击新建引擎网络,创建一个新的引擎网络。新建的引擎网络下面暂时不存在网关,同样在用户在该引擎网络下创建第一个引擎或者提交第一个任务的时候,DLC 会默认在该引擎网络下创建一个规格为2CU的免费网关。
用户可以通过引擎列表页的“引擎网络名称/ID”列来看到当前引擎属于哪个引擎网络。

单击右上侧展开,能看到引擎网络列表信息。单击详情能够看到当前引擎网络的详细信息,包括当前网络下有多少标准引擎,网络与多少用户VPC打通了连接以及网关的规格等详细信息。
注意:
为了避免误删除,用户无法直接删除引擎网络。只有当当前引擎网络下标准引擎的数量为0时,用户才可以单击删除引擎网络将网络删除。

网关规格

DLC会为每个引擎网络自动创建2CU规格的网关,该2CU的网关不会收费。但2CU的网关仅适用于测试环境,生产环境推荐用户对网关进行扩容。
DLC提供多种网关规格,建议结合需要管理的引擎数量以及业务场景的最大查询并发 QPS等 选择网关规格,具体详见以下表格:
网关规格
网关是否 HA
Spark 资源组管理数量
Presto 引擎管理数量
Spark SQL /Presto SQL并发查询数
Spark ML Notebook Session瞬时并发创建数/最大创建个数
Spark Batch 瞬时并发提交任务数/并行运行任务数
2CU
50
4
100
10/20
30/50
16CU
150
12
200
20/80
80/150
32CU
400
35
600
100/200
220/400
64CU
700
70
1000
200/300
400/600

升级规格

数据湖计算 DLC 默认提供2CU规格给用户使用,当业务场景无法满足,需要升级规格时,则需要购买获取。
注意:
1. 网关变配会导致当前运行中的所有任务中断并失败,请谨慎操作!
2. 整个变更流程预计需要10~15分钟。如果出现长时间网关状态未恢复到运行中的情况,请 提交工单 解决。
当用户需要对网关进行升配,可以按照以下步骤进行操作。
1. 导航栏左侧单击 标准引擎 进入引擎列表页面。
2. 单击概览卡片上要操作的引擎网络 > 网关 > 详情,进入引擎网络详情页面。

3. 详情页下拉到最下方,单击网关规格配置
4. 在弹出的“配置变更”页面,选择要变更到的规格,单击确认变更

常见问题

通过 JDBC 提交任务报错接口超时怎么解决?

首先通过控制台检查网关状态是否正常,是否在运行中。如果网关处于挂起状态,可以通过启动按钮将网关启动后重试。进入引擎网络详情页,最下方网关详情,单击启动


怎么判断当前网关负载是否正常?

DLC 提供了网关的基础监控,通过监控信息能够判断网关的健康状况。进入引擎网络详情页,最下方网关详情,单击监控进入网关监控页面。

同时用户可以在腾讯云可观测平台配置告警,当网关的 CPU、内存使用率超过一定限制时,告警能够第一时间触达客户,提前进行网关的扩容等操作。
配置流程如下:
1. 进入腾讯云可观测平台,选择“告警配置”,单击新建策略
2. 策略名称:任取。
策略类型:数据湖计算/网关(多维)。
告警对象:地域选择网关所在地域,网关选择需要告警的网关,可以多选。
触发条件:手动配置,如图配置了cpu负载和内存使用率任意一个超过70%就告警 ,用户可以根据自己需求配置其他告警。
3. 单击下一步配置告警通知。如果已有告警通知模板,可以复用已有模板。如果没有选择新建模板,配置告警触发后需要通知的用户或者将告警分发到微信群中。
4. 配置好通知模板后单击完成即可。