什么是注册节点?
注册节点(原第三方节点)是腾讯云容器服务团队针对混合云部署场景,全新升级的节点产品形态,允许用户将非腾讯云的主机,托管到容器服务 TKE 集群,由用户提供计算资源,容器服务 TKE 负责集群生命周期管理。
说明:
注册节点现在支持专线版(通过专线 + 云联网连接)和公网版(通过 Internet 连接)两种产品模式,用户可以根据不同的场景按需选择使用。
使用场景
资源利旧
企业需要迁移上云,但在本地数据中心已经进行了投资,在 IDC 有存量的服务器资源(CPU 资源、GPU 资源)。可以通过注册节点的特性,将 IDC 主机资源添加到 TKE 公有云集群,确保在上云过程中存量服务器资源得到有效利用。
集群托管运维
免去在本地搭建、运维 K8s 集群的成本,由腾讯云统一运维管控,用户仅需要运维本地服务器即可。
混合部署调度
支持在单集群内同时调度注册节点与云上 CVM 节点,便于将云下业务拓展至云上,无需引入多集群管理。
无缝集成云端服务
注册节点无缝集成腾讯云云原生相关服务,涵盖日志、监控、审计、存储、容器安全等云原生能力。
注册节点专线版
专线版产品架构
用户可以将自身 IDC 环境通过专线 + 云联网的方式和腾讯云 VPC 之间打通,然后通过内网将 IDC 节点接入到 TKE 集群,实现 IDC 节点和云上 CVM 的统一纳管。其架构图如下:
专线版约束条件
使用注册节点能力前,需要保证环境是满足约束要求的,否则无法正常使用注册节点产品功能。
操作系统约束:注册节点的操作系统必须使用 TencentOS Server 3.1 和 TencentOS Server 2.4(TK4)。
硬件约束(GPU):仅支持 NVIDIA 系列显卡,包括:Volta(如 V100)、Turing(如 T4)、Ampere(如 A100、A10)。
云上云下连通:云联网+专线打通(暂不支持 VPN 方式)。
TKE集群约束:1.18及以上版本,云上必须有至少一个 CVM 节点(暂不支持集群仅添加注册节点)。
专线版节点端口放通
为了保障混合云集群云上云下互通,需要在云上和 IDC 节点分别放通一系列端口。
云上节点:云上节点使用满足 TKE 要求的安全组 容器服务安全组设置。如果 TKE 集群使用 cilium overlay 网络模式,则节点还需额外放通。
入站规则
协议 | 端口 | 来源 | 策略 | 备注 |
UDP | 8472 | 集群网络 CIDR IDC 网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
出站规则
协议 | 端口 | 目的 | 策略 | 备注 |
UDP | 8472 | 集群网络 CIDR IDC 网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
IDC 节点:在节点上设置防火墙规则放通端口。
入站规则
协议 | 端口 | 来源 | 策略 | 备注 |
UDP | 8472 | 集群网络 CIDR IDC 网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
TCP | 10250 | 集群网络 CIDR IDC 网络 CIDR | 允许 | 放通 API Server 通信 |
出站规则
协议 | 端口 | 目的 | 策略 | 备注 |
UDP | 8472 | 集群网络 CIDR IDC 网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
TCP | 80、443、9243、10250、60002 | 代理子网 SUBNET | 允许 | 放通云上代理通信 |
网络模式
对于 TKE 集群不同网络类型,注册节点上 Pod 网络能力也存在一定的限制,说明如下:
GlobalRouter 和 VPC-CNI 独占网卡模式集群:云下 IDC 节点上 Pod 仅支持使用 hostNetwork 网络模式,此模式下云下 pod 只能通过 host 网络和云上互通。
Cilium-Overlay 网络模式集群:TKE 团队特别为混合云推出的容器网络方案,云上云下 Pod 处于同一 overlay 网络平面,可以实现云上云下 pod 互通。
注册节点公网版
公网版产品架构
如果用户因为某些客观因素,无法打通 IDC 和腾讯云之间的专线,同时用户又期望通过 TKE 管理 IDC 内节点,降低搭建和运维 K8s 的成本,可以使用注册节点公网版产品,通过 Internet 将 IDC 节点注册到 TKE 进行统一管理。其架构图如下:
注意:
和专线版不同,公网版由于只能通过 Internet 和 TKE 互通,默认情况下,云上 CVM 和云下 IDC 是两个完全隔离的分区,暂时无法支持云上节点和云下节点的 Pod 网络互通。因此,该产品模式建议用户将 IDC 机房节点作为一个独立的节点池进行管理以及业务调度,避免云上云下 Pod 互访(可以通过 Ingress 等其他方式实现云上云下业务互访)。
公网版约束条件
使用注册节点公网版前,需要保证环境是满足约束要求的,否则无法正常使用注册节点产品功能。
操作系统约束:注册节点的操作系统必须使用 TencentOS Server 3.1 和 TencentOS Server 2.4(TK4)。
TKE集群约束:
K8s 1.20及以上版本
“容器网络插件”需要选择 Global Router
云上必须有至少一个 CVM 节点(暂不支持集群仅添加注册节点)。
网络约束:IDC 节点可以和腾讯云 CLB 互通,能够访问 CLB 的 TCP 443 和 9000 端口。
硬件约束(GPU):当前暂时不支持 GPU 节点。
注意:
当前公网版只开放给创建时间在2023年11月9日 12:00:00之后的集群使用。现有存量集群待后续产品规划,会逐渐放开此能力限制。
公网版节点端口放通
为了保障 IDC 环境和 TKE 集群互通,需要在云上和 IDC 节点分别放通一系列端口。
云上节点:云上节点使用满足 TKE 要求的安全组 容器服务安全组设置。
IDC 节点:在节点上设置防火墙规则放通端口,同时设置规则允许访问公网镜像仓库。
镜像仓库:保证在 IDC 节点可以访问 ccr.ccs.tencentyun.com 以及 superedge.tencentcloudcr.com
入站规则
协议 | 端口 | 来源 | 策略 | 备注 |
UDP | 8472 | 集群网络 CIDR IDC网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
TCP | 10250 | 集群网络 CIDR IDC网络 CIDR | 允许 | 放通 API Server 通信 |
出站规则
协议 | 端口 | 目的 | 策略 | 备注 |
UDP | 8472 | 集群网络 CIDR IDC网络 CIDR | 允许 | 放通集群节点 vxlan 通信 |
TCP | 443、9000 | 公网版对应的 CLB 地址 | 允许 | 放通访问云上 CLB 地址,提供节点注册和云边隧道服务 |
网络模式
对于注册节点公网版,云上和云下的网络天然隔离,因此云上节点会使用 GR 网络在云上节点之间实现 Pod 互通,云下节点会使用 Flannel网络在 IDC 节点之间实现 Pod 互通,而云上 Pod 和云下 Pod 之间默认隔离。
注册节点与云上节点能力对比
分类 | 能力 | 云上节点 | 注册节点(专线版) | 注册节点(公网版) |
节点管理 | 添加节点 | ✔ | ✔ | ✔ |
移除节点 | ✔ | ✔ | ✔ | |
设置节点标签、污点 | ✔ | ✔ | ✔ | |
节点封锁、驱逐 | ✔ | ✔ | ✔ | |
通过节点池批量管理 | ✔ | ✔ | ✔ | |
Kubernetes 版本升级 | ✔ | 暂无 | 暂无 | |
存储卷 | 本地存储 ( emptyDir、hostPath 等 ) | ✔ | ✔ | ✔ |
Kubernetes API ( ConfigMap、Secret… ) | ✔ | ✔ | ✔ | |
腾讯云云硬盘 CBS | ✔ | 无 | 无 | |
腾讯云文件存储 CFS | ✔ | ✔ | 无 | |
腾讯云对象存储 COS | ✔ | ✔ | 无 | |
可观测性 | 支持 Prometheus 监控服务 | ✔ | ✔ | 暂无 |
支持云产品监控 | ✔ | 无 | 暂无 | |
支持日志对接 CLS | ✔ | ✔ | 暂无 | |
支持集群审计 | ✔ | ✔ | ✔ | |
支持事件存储 | ✔ | ✔ | ✔ | |
流量接入 | 支持 ClusterIP 类型 Service | ✔ | ✔ | ✔ |
支持 NodePort 类型 Service | ✔ | ✔ | ✔ | |
支持 LoadBalancer 类型 Service | ✔ | ✔ 基于腾讯云负载均衡 CLB | 无 | |
支持 CLB 类型的 Ingress | ✔ | ✔ | 无 | |
支持 Nginx 类型的 Ingress | ✔ | ✔ | 无 | |
其他 | 支持 qGPU | ✔ | 无 | 无 |