有奖捉虫:云通信与企业服务文档专题,速来> HOT

什么是注册节点?

注册节点(原第三方节点)是腾讯云容器服务团队针对混合云部署场景,全新升级的节点产品形态,允许用户将非腾讯云的主机,托管到容器服务 TKE 集群,由用户提供计算资源,容器服务 TKE 负责集群生命周期管理。
说明:
注册节点现在支持专线版(通过专线 + 云联网连接)和公网版(通过 Internet 连接)两种产品模式,用户可以根据不同的场景按需选择使用。
注意:
TKE 新上线注册节点公网版产品,当前限制2023年11月9日 12:00:00之后的新建集群可以开启此能力,具体约束条件请参见 公网版约束条件
现有存量集群待后期产品规划,会逐步开放此功能。

使用场景

资源利旧

企业需要迁移上云,但在本地数据中心已经进行了投资,在 IDC 有存量的服务器资源(CPU 资源、GPU 资源)。可以通过注册节点的特性,将 IDC 主机资源添加到 TKE 公有云集群,确保在上云过程中存量服务器资源得到有效利用。

集群托管运维

免去在本地搭建、运维 K8s 集群的成本,由腾讯云统一运维管控,用户仅需要运维本地服务器即可。

混合部署调度

支持在单集群内同时调度注册节点与云上 CVM 节点,便于将云下业务拓展至云上,无需引入多集群管理。

无缝集成云端服务

注册节点无缝集成腾讯云云原生相关服务,涵盖日志、监控、审计、存储、容器安全等云原生能力。

注册节点专线版

专线版产品架构

用户可以将自身 IDC 环境通过专线 + 云联网的方式和腾讯云 VPC 之间打通,然后通过内网将 IDC 节点接入到 TKE 集群,实现 IDC 节点和云上 CVM 的统一纳管。其架构图如下:




专线版约束条件

使用注册节点能力前,需要保证环境是满足约束要求的,否则无法正常使用注册节点产品功能。
操作系统约束:注册节点的操作系统必须使用 TencentOS Server 3.1TencentOS Server 2.4(TK4)
硬件约束(GPU):仅支持 NVIDIA 系列显卡,包括:Volta(如 V100)、Turing(如 T4)、Ampere(如 A100、A10)。
云上云下连通:云联网+专线打通(暂不支持 VPN 方式)。
TKE集群约束:1.18及以上版本,云上必须有至少一个 CVM 节点(暂不支持集群仅添加注册节点)。

专线版节点端口放通

为了保障混合云集群云上云下互通,需要在云上和 IDC 节点分别放通一系列端口。
云上节点:云上节点使用满足 TKE 要求的安全组 容器服务安全组设置。如果 TKE 集群使用 cilium overlay 网络模式,则节点还需额外放通。
入站规则
协议
端口
来源
策略
备注
UDP
8472
集群网络 CIDR
IDC 网络 CIDR
允许
放通集群节点 vxlan 通信
出站规则
协议
端口
目的
策略
备注
UDP
8472
集群网络 CIDR
IDC 网络 CIDR
允许
放通集群节点 vxlan 通信
IDC 节点:在节点上设置防火墙规则放通端口。
入站规则
协议
端口
来源
策略
备注
UDP
8472
集群网络 CIDR
IDC 网络 CIDR
允许
放通集群节点 vxlan 通信
TCP
10250
集群网络 CIDR
IDC 网络 CIDR
允许
放通 API Server 通信
出站规则
协议
端口
目的
策略
备注
UDP
8472
集群网络 CIDR
IDC 网络 CIDR
允许
放通集群节点 vxlan 通信
TCP
80、443、9243、10250、60002
代理子网 SUBNET
允许
放通云上代理通信

网络模式

对于 TKE 集群不同网络类型,注册节点上 Pod 网络能力也存在一定的限制,说明如下:
GlobalRouter 和 VPC-CNI 独占网卡模式集群:云下 IDC 节点上 Pod 仅支持使用 hostNetwork 网络模式,此模式下云下 pod 只能通过 host 网络和云上互通。
Cilium-Overlay 网络模式集群:TKE 团队特别为混合云推出的容器网络方案,云上云下 Pod 处于同一 overlay 网络平面,可以实现云上云下 pod 互通。
网络说明信息详见 网络模式

注册节点公网版

公网版产品架构

如果用户因为某些客观因素,无法打通 IDC 和腾讯云之间的专线,同时用户又期望通过 TKE 管理 IDC 内节点,降低搭建和运维 K8s 的成本,可以使用注册节点公网版产品,通过 Internet 将 IDC 节点注册到 TKE 进行统一管理。其架构图如下:



注意:
和专线版不同,公网版由于只能通过 Internet 和 TKE 互通,默认情况下,云上 CVM 和云下 IDC 是两个完全隔离的分区,暂时无法支持云上节点和云下节点的 Pod 网络互通。因此,该产品模式建议用户将 IDC 机房节点作为一个独立的节点池进行管理以及业务调度,避免云上云下 Pod 互访(可以通过 Ingress 等其他方式实现云上云下业务互访)。

公网版约束条件

使用注册节点公网版前,需要保证环境是满足约束要求的,否则无法正常使用注册节点产品功能。
操作系统约束:注册节点的操作系统必须使用 TencentOS Server 3.1TencentOS Server 2.4(TK4)
TKE集群约束:
K8s 1.20及以上版本
“容器网络插件”需要选择 Global Router
云上必须有至少一个 CVM 节点(暂不支持集群仅添加注册节点)。
网络约束:IDC 节点可以和腾讯云 CLB 互通,能够访问 CLB 的 TCP 443 和 9000 端口。
硬件约束(GPU):当前暂时不支持 GPU 节点。
注意:
当前公网版只开放给创建时间在2023年11月9日 12:00:00之后的集群使用。现有存量集群待后续产品规划,会逐渐放开此能力限制。

公网版节点端口放通

为了保障 IDC 环境和 TKE 集群互通,需要在云上和 IDC 节点分别放通一系列端口。
云上节点:云上节点使用满足 TKE 要求的安全组 容器服务安全组设置
IDC 节点:在节点上设置防火墙规则放通端口,同时设置规则允许访问公网镜像仓库。
镜像仓库:保证在 IDC 节点可以访问 ccr.ccs.tencentyun.com 以及 superedge.tencentcloudcr.com
入站规则
协议
端口
来源
策略
备注
UDP
8472
集群网络 CIDR
IDC网络 CIDR
允许
放通集群节点 vxlan 通信
TCP
10250
集群网络 CIDR
IDC网络 CIDR
允许
放通 API Server 通信
出站规则
协议
端口
目的
策略
备注
UDP
8472
集群网络 CIDR
IDC网络 CIDR
允许
放通集群节点 vxlan 通信
TCP
443、9000
公网版对应的 CLB 地址
允许
放通访问云上 CLB 地址,提供节点注册和云边隧道服务

网络模式

对于注册节点公网版,云上和云下的网络天然隔离,因此云上节点会使用 GR 网络在云上节点之间实现 Pod 互通,云下节点会使用 Flannel网络在 IDC 节点之间实现 Pod 互通,而云上 Pod 和云下 Pod 之间默认隔离。


注册节点与云上节点能力对比

分类
能力
云上节点
注册节点(专线版)
注册节点(公网版)
节点管理
添加节点
移除节点
设置节点标签、污点
节点封锁、驱逐
通过节点池批量管理
Kubernetes 版本升级
暂无
暂无
存储卷
本地存储 ( emptyDir、hostPath 等 )
Kubernetes API ( ConfigMap、Secret… )
腾讯云云硬盘 CBS
腾讯云文件存储 CFS
腾讯云对象存储 COS
可观测性
支持 Prometheus 监控服务
暂无
支持云产品监控
暂无
支持日志对接 CLS
暂无
支持集群审计
支持事件存储
流量接入
支持 ClusterIP 类型 Service
支持 NodePort 类型 Service
支持 LoadBalancer 类型 Service
基于腾讯云负载均衡 CLB
支持 CLB 类型的 Ingress
支持 Nginx 类型的 Ingress
其他
支持 qGPU