概述
网络连接用于将 AI DLC 中的作业接入您指定的私有网络 VPC(Virtual Private Cloud),使作业可以像部署在您 VPC 内的资源一样,访问 VPC 内的数据源与服务。
默认情况下,作业运行在平台托管的隔离网络环境中,无法直接访问您 VPC 内的资源。创建网络连接并在作业中选用后,作业将通过您指定的 VPC 及子网访问网络,典型场景包括:
访问 VPC 内自建的数据库、缓存、消息队列或内部服务接口,例如 MySQL、Redis、Kafka。
通过内网访问同 VPC 下的其他云产品资源,降低公网流量成本,提升访问稳定性。
将计算结果回写至 VPC 内的存储或数据库。
网络连接创建后可被多个作业重复使用,也可设置为默认连接,让新提交的作业自动使用。
使用流程
1. 创建网络连接:选择目标 VPC 与子网。
2. 放通目标资源的访问权限:在目标资源的安全组中放通所选子网的网段。
3. 在作业中选用网络连接:提交作业时选择已创建的网络连接,或使用默认连接。
前提条件
当前账号具备 AI DLC 网络连接相关的操作权限。如使用子账号,请联系主账号通过访问管理(CAM)授权。
已创建 VPC 和子网,且目标资源(如数据库、服务)位于该 VPC 内。如无可用 VPC,请前往 VPC 控制台 创建。
所选子网内有足够的可用 IP。每个启用网络连接的节点(如 Ray 作业的 Head 节点、Worker 节点)将占用 1 个子网 IP,请按作业并发规模预留。
VPC 所在地域须与作业所在地域一致。网络连接按地域管理,不同地域需分别创建。
使用限制
限制项 | 说明 |
子网 IP 占用 | 每个启用网络连接的节点占用所选子网的 1 个 IP。子网可用 IP 不足时,作业将无法运行。 |
节点规格与 CU 利用率 | 启用网络连接的节点需要占用独立的网络资源,同一份资源内可容纳的此类节点数量有限。当单个节点的规格较小时,可能出现已购 CU(1 CU = 1 核 4 GB)尚有余量,但新作业仍需排队的情况。建议将单个节点的规格设置为 8 CU 及以上。 |
作业启动耗时 | 启用网络连接的节点在启动时需额外配置网络,启动耗时会略有增加。 |
注意:启用网络连接后,若单个节点的规格较小(例如 1 CU、2 CU),可能出现已购 CU 尚有余量,但作业仍处于排队状态的情况。建议将启用网络连接的作业中每个节点的规格设置为 8 CU 及以上,以充分利用已购 CU。
管理网络连接
在 AI DLC 控制台的 网络配置 页面,您可以创建、编辑和删除网络连接,并查看各连接的状态、目标 VPC、子网及子网可用 IP 数。
新建网络连接
新建网络连接时,需配置以下参数:
参数 | 必填 | 说明 |
连接名称 | 是 | 支持中文、英文和下划线(_),不超过 35 个字符。 |
目标 VPC | 是 | 选择要打通的 VPC。作业将通过该 VPC 内的子网访问 VPC 下的资源。列表中无合适 VPC 时,请前往 VPC 控制台新建。创建后不可变更。 |
子网 | 是 | 选择目标 VPC 下的子网。请先选择目标 VPC,并确保子网内有足够的可用 IP。创建后不可变更。 |
描述 | 否 | 连接的备注信息,不超过 100 个字符。 |
默认连接 | 否 | 开启后,新提交的作业默认使用此连接。同一时间只能有 1 个默认连接。 |
操作步骤如下:
1. 登录 AI DLC 控制台,在左侧导航栏选择 系统管理 > 网络配置。
2. 在页面顶部选择地域,单击 新建网络连接。
3. 在 新建网络连接 对话框中,按上表填写参数。
4. 单击 创建。创建完成后,即可在作业中选用该连接。
编辑网络连接
1. 在 网络配置 页面,找到目标连接,在 操作 列单击 编辑。
2. 在 编辑网络连接 对话框中修改配置,单击 确定。
编辑时,连接名称、描述 和 默认连接 可修改;目标 VPC 和 子网 创建后不可变更,如需更换,请新建网络连接。
说明:开启或关闭 默认连接 仅影响此后新提交的作业,不影响已提交的作业。
删除网络连接
在 网络配置 页面,找到目标连接,在 操作 列单击 删除,并按提示确认。
默认连接不能直接删除。请先编辑该连接,关闭 默认连接 后再删除。
非默认连接可直接删除。
删除网络连接后,已处于运行状态的作业不受影响,可继续访问对应 VPC 内的资源,直至作业结束;新提交的作业将无法使用该连接,如仍需访问,请先新建或选用其他网络连接。
放通目标资源的访问权限
作业通过您所选子网内的 IP 访问目标资源。为使访问成功,请在目标资源所关联的安全组(及网络 ACL,如有)中,放通所选子网的网段,并开放所需端口。
1. 在 VPC 控制台 的子网列表中,查看所选子网的 IPv4 CIDR。
2. 在目标资源的安全组入站规则中,新增一条规则:来源填写上述子网 CIDR,协议端口填写目标服务端口,例如 MySQL 的 3306,策略选择 允许。
注意:为保障安全,来源请填写子网 CIDR,不建议填写
0.0.0.0/0。在作业中使用网络连接
提交作业时,在 网络配置(可选)模块的 网络连接 下拉框中选择已创建的网络连接。
未设置默认连接:作业不接入您的 VPC。如需访问 VPC 内资源,请手动选择网络连接。
已设置默认连接:新提交的作业默认使用该连接。如需使用其他连接,请在下拉框中重新选择。
配置公网访问与域名解析
访问公网
注意:作业启用网络连接后,访问公网的流量将经由您的 VPC 转发。如果 VPC 内未配置公网出口,作业将无法访问公网,例如无法从公网下载 Python 依赖包、无法调用第三方公网接口。
如需访问公网,请为所选子网配置 NAT 网关:
1. 在 公网 NAT 网关控制台 创建 NAT 网关,并绑定弹性公网 IP(EIP)。
2. 在所选子网关联的路由表中新增路由策略:目的端填写
0.0.0.0/0,下一跳类型选择 公网 NAT 网关,下一跳选择已创建的 NAT 网关。说明:NAT 网关创建时会冻结 1 小时的租用费用。公网流量同时受 NAT 网关和 EIP 的带宽上限约束,以较小值为准,请合理规划带宽。NAT 网关、EIP 按其产品的计费规则收费,网络连接功能本身不收费。
自定义域名解析
作业默认使用集群内置的 DNS 解析域名。如需解析 VPC 内的自建域名,或为指定域名设置固定解析,可在提交作业时,通过作业的 高级参数 配置。
以 Ray Job 为例,常用参数如下:
场景 | 参数名 | 参数值示例 |
指定 Worker 的 DNS 服务器 | spec.rayClusterSpec.workerGroupSpecs.template.spec.dnsConfig | {"nameservers":["10.0.0.10"]} |
指定 Head 的 DNS 服务器 | spec.rayClusterSpec.headGroupSpec.template.spec.dnsConfig | {"nameservers":["10.0.0.10"]} |
为 Worker 添加域名与 IP 映射 | spec.rayClusterSpec.workerGroupSpecs.template.spec.hostAliases | [{"ip":"10.0.0.5","hostnames":["db.example.internal"]}] |
说明:自定义的 DNS 服务器地址必须能够从所选子网访问。
常见问题
作业一直处于排队或运行失败状态怎么办?
请检查以下几项:
1. 所选子网的可用 IP 是否充足,可在 网络配置 页面查看。
2. 单个节点的规格是否过小。启用网络连接后,规格较小的节点可能导致 CU 无法被充分利用,请参见 使用限制,并适当增大单个节点的规格。
作业无法访问 VPC 内的资源怎么办?
请按以下顺序排查:
1. 确认目标资源的安全组已放通所选子网的网段和服务端口,请参见 放通目标资源的访问权限。
2. 确认目标资源与所选子网位于同一 VPC,或已通过云联网、对等连接等方式互通。
3. 确认提交作业时已选择正确的网络连接。