有奖捉虫:云通信与企业服务文档专题,速来> HOT

使用场景

本文介绍如何通过云上交付的方式,部署一套生产可用的 TKE Anywhere 集群至客户 IDC。通过此方式,您可以免除现场人工执行,快速完成集群部署。部署完成后,您将获得一套高可用的 TKE Anywhere 集群,支持通过远程和本地控制台访问和管理。即使在现场对外网络中断的情况下,本地部署的 TKE Anywhere 集群仍能提供稳定的服务。

前提条件

已开通 云原生分布式云中心(Tencent Kubernetes Engine Distributed Cloud Center, TDCC)服务,开通方式请参见 快速入门
阅读 TKE Anywhere 安装前提条件,确认待部署 TKE Anywhere 集群的服务器和环境满足要求。

规划部署架构

本文以某软件系统的部署交付为例。该软件采用容器化应用架构,使用 Redis、MariaDB、Kafka 等中间件数据库,并希望使用分布式存储系统来保存各种业务数据。为了满足这些要求,我们规划了以下部署架构方案:
1. 使用高可用部署模式,准备至少3台 TKE Master 服务器,3台 TKE Worker 服务器。服务器在同一网段下,且都支持访问公网。
2. 使用 TStor CSP 分布式存储系统,CSP 存储节点与 3 TKE Worker节点混合部署,提供快存储能力供上层应用使用。还可根据需要配置 CSP COS 对象存储供数据备份使用。
3. 准备 VIP 地址用于集群 API server 的高可用、CSP 存储控制器等使用和 CSP COS 存储控制器使用。
设备类型
IP地址(规划)
VIP
角色
Master 服务器
192.168.121.129
nTKE VIP:n192.168.121.135
CSP COS VIP:n192.168.121.137
TKE Master & Worker
可选 CSP COS(3.84TB*2)
Master 服务器
192.168.121.130
TKE Master & Worker
可选 CSP COS(3.84TB*2)
Master 服务器
192.168.121.131
TKE Master & Worker
可选 CSP COS(3.84TB*2)
Worker 服务器
192.168.121.132
CSP VIP:n192.168.121.136
TKE Worker
TKE PaaS (3.84TB*1 Local PV)
CSP Monitor
CSP Console
CSP Manager
CSP OSD*11 (3.84TB*11)
Worker 服务器
192.168.121.133
TKE Worker
TKE PaaS (3.84TB*1 Local PV)
CSP Monitor
CSP Console
CSP Manager
CSP OSD*11 (3.84TB*11)
Worker 服务器
192.168.121.134
TKE Worker
TKE PaaS (3.84TB*1 Local PV)
CSP Monitor
CSP OSD*11 (3.84TB*11)
注意:
1. 上表中提供的配置和地址仅供演示参考。在实际部署和安装时,请根据现场实际环境和业务需求进行配置。
2. 腾讯云 TStor CSP 面向企业客户提供可扩展、高可靠、强安全、低成本的 PB 级海量数据存储能力,并保证核心敏感数据的私密性。CSP 提供客户机房私有方式部署,满足客户多种场景需求,并保障客户对系统100%可控。有关 CSP 的部署和使用详情,请参见 TStor 存储一体机

操作步骤

基础环境

1. 请先阅读 TKE Anywhere 安装前提条件,并按照要求准备服务器硬件。接着,部署 TencentOS 操作系统。
2. 您需要准备一个已有的块存储或对象存储地址。如果您没有现成的存储地址,可以选择新部署一个分布式存储系统。有关如何部署和验证分布式存储系统,请参见 TStor 存储一体机

部署 TKE Anywhere 集群

2. 在分布式基础设施集群页面,单击创建 TKE Anywhere 集群
3. 在创建 TKE Anywhere 集群页面,阅读《使用前须知》,确定您已满足 TKE Anywhere 部署要求后,进入下一步。
4. 集群信息页面,配置要交付的 TKE Anywhere 集群基本信息。
集群注册方式:选择公网
API Server高可用类型:选择 Keepalived,联系现场获得 VIP 地址填写在此处。以本文演示为例,此处填写 192.168.121.135。
系统组件使用存储:选择 Ceph RBD 存储, 联系现场获得 Ceph RBD 地址填写在此处。以本文演示为例,此处填写信息如下:



镜像仓库 S3 对象存储: 选中镜像仓库使用外部 S3 对象存储选项,配置 S3对象存储地址,用于保存镜像仓库数据。以本文演示为例,此处填写信息如下:



启用 Master 调度:根据需要选择开启。
容器网络:默认,确保与服务器 IP 不冲突。以本文演示为例,此处填写信息如下:



云边部署通道:选择反向代理模式,依次点击立即开启和复制连接命令按钮,在需要安装 TKE Anywhere 的 Master 服务器上执行复制的连接命令,等待命令执行完成后,回到部署通道页面点击研制连通性按钮,验证成功后可关闭页面进入下一步。



5. 进入节点信息页面,根据提示填写需要部署 TKE Anywhere 的节点信息。



网卡名称:填写服务器网卡名称。
Master&Etcd:依次填写 3 台Master 服务器的 IP 地址、SSH 端口、用户名和密码。
部署环境预检:在开始部署之前,请执行部署环境预检。如果检查未通过,请根据提示信息调整部署环境配置,然后重新进行检查,直至检查通过。
6. 进入组件配置页面,根据提示填写需要配置的组件信息。



本地控制台:使用默认配置,或使用自有域名。以本文演示为例,此处填写 console.tke.com。
7. 单击下一步确认信息,确认信息无误后,单击完成开始安装,并等待安装完成。

添加 Worker 节点

1. TKE Anywhere 集群部署完成后,请参见 登录和管理 TKE Anywhere 集群,登录本地控制台。


2. 进入 TKE Anywhere 本地控制台,在集群管理单击集群名称进入集群详情页。



3. 在节点管理页面,当前可以查看到 global 集群已包含 3 台 Master 节点。单击左上角添加节点,继续为集群添加 Worker 节点。
4. 添加节点后,单击保存和提交,TKE Anywhere 开启连接 Worker 节点开始安装。等待数分钟后,Worker 节点安装完成,您可以在节点管理页中查看新添加的节点。




验证 TKE Anywhere 集群

在完成 TKE Anywhere 集群部署和添加 Worker 节点的步骤后,您可以按照以下步骤验证您已经成功创建了一套生产可用的集群:
2. 在分布式基础设施集群页面,单击 TKE Anywhere 集群名称
3. 在集群节点页面,确认您的集群中包含 3 台 Master 节点和 3 台 Worker 节点,如下图所示:



4. 在命名空间页面,确认所有的 deployment 服务都处于正常状态。
5. 在 Deployment 页面,单击新建,按照页面上的提示填写相关信息,单击创建,等待工作负载创建完成。
6. 在工作负载创建完成后,您可以在 deployment 页面中查看该工作负载。如下图所示:



7. 登录本地控制台,运行kubectl get deployments命令,确认您刚创建的 deployment 实例已经成功运行在本地集群上。
8. 如需检查您的 TKE Anywhere 集群是否具有高可用性,您可以选择任意一台节点,并使用相应的工具进行关机操作,来模拟节点故障。等待一段时间,直到集群自动进行故障转移并恢复正常状态。您可以使用kubectl get nodes命令来确认节点的状态,并使用kubectl get deployments命令来确认工作负载的状态。您可以重新执行步骤1-7,并确认它们能够正常运行。