使用场景
本文介绍如何通过云上交付的方式,部署一套生产可用的 TKE Anywhere 集群至客户 IDC。通过此方式,您可以免除现场人工执行,快速完成集群部署。部署完成后,您将获得一套高可用的 TKE Anywhere 集群,支持通过远程和本地控制台访问和管理。即使在现场对外网络中断的情况下,本地部署的 TKE Anywhere 集群仍能提供稳定的服务。
前提条件
阅读 TKE Anywhere 安装前提条件,确认待部署 TKE Anywhere 集群的服务器和环境满足要求。
规划部署架构
本文以某软件系统的部署交付为例。该软件采用容器化应用架构,使用 Redis、MariaDB、Kafka 等中间件数据库,并希望使用分布式存储系统来保存各种业务数据。为了满足这些要求,我们规划了以下部署架构方案:
1. 使用高可用部署模式,准备至少3台 TKE Master 服务器,3台 TKE Worker 服务器。服务器在同一网段下,且都支持访问公网。
2. 使用 TStor CSP 分布式存储系统,CSP 存储节点与 3 TKE Worker节点混合部署,提供快存储能力供上层应用使用。还可根据需要配置 CSP COS 对象存储供数据备份使用。
3. 准备 VIP 地址用于集群 API server 的高可用、CSP 存储控制器等使用和 CSP COS 存储控制器使用。
设备类型 | IP地址(规划) | VIP | 角色 |
Master 服务器 | 192.168.121.129 | nTKE VIP:n192.168.121.135 CSP COS VIP:n192.168.121.137 | TKE Master & Worker 可选 CSP COS(3.84TB*2) |
Master 服务器 | 192.168.121.130 | | TKE Master & Worker 可选 CSP COS(3.84TB*2) |
Master 服务器 | 192.168.121.131 | | TKE Master & Worker 可选 CSP COS(3.84TB*2) |
Worker 服务器 | 192.168.121.132 | CSP VIP:n192.168.121.136 | TKE Worker TKE PaaS (3.84TB*1 Local PV) CSP Monitor CSP Console CSP Manager CSP OSD*11 (3.84TB*11) |
Worker 服务器 | 192.168.121.133 | | TKE Worker TKE PaaS (3.84TB*1 Local PV) CSP Monitor CSP Console CSP Manager CSP OSD*11 (3.84TB*11) |
Worker 服务器 | 192.168.121.134 | | TKE Worker TKE PaaS (3.84TB*1 Local PV) CSP Monitor CSP OSD*11 (3.84TB*11) |
注意:
1. 上表中提供的配置和地址仅供演示参考。在实际部署和安装时,请根据现场实际环境和业务需求进行配置。
2. 腾讯云 TStor CSP 面向企业客户提供可扩展、高可靠、强安全、低成本的 PB 级海量数据存储能力,并保证核心敏感数据的私密性。CSP 提供客户机房私有方式部署,满足客户多种场景需求,并保障客户对系统100%可控。有关 CSP 的部署和使用详情,请参见 TStor 存储一体机。
操作步骤
基础环境
1. 请先阅读 TKE Anywhere 安装前提条件,并按照要求准备服务器硬件。接着,部署 TencentOS 操作系统。
2. 您需要准备一个已有的块存储或对象存储地址。如果您没有现成的存储地址,可以选择新部署一个分布式存储系统。有关如何部署和验证分布式存储系统,请参见 TStor 存储一体机。
部署 TKE Anywhere 集群
1. 登录 云原生分布式云中心控制台。
2. 在分布式基础设施集群页面,单击创建 TKE Anywhere 集群。
3. 在创建 TKE Anywhere 集群页面,阅读《使用前须知》,确定您已满足 TKE Anywhere 部署要求后,进入下一步。
4. 在集群信息页面,配置要交付的 TKE Anywhere 集群基本信息。
集群注册方式:选择公网
API Server高可用类型:选择 Keepalived,联系现场获得 VIP 地址填写在此处。以本文演示为例,此处填写 192.168.121.135。
系统组件使用存储:选择 Ceph RBD 存储, 联系现场获得 Ceph RBD 地址填写在此处。以本文演示为例,此处填写信息如下:
镜像仓库 S3 对象存储: 选中镜像仓库使用外部 S3 对象存储选项,配置 S3对象存储地址,用于保存镜像仓库数据。以本文演示为例,此处填写信息如下:
启用 Master 调度:根据需要选择开启。
容器网络:默认,确保与服务器 IP 不冲突。以本文演示为例,此处填写信息如下:
云边部署通道:选择反向代理模式,依次点击立即开启和复制连接命令按钮,在需要安装 TKE Anywhere 的 Master 服务器上执行复制的连接命令,等待命令执行完成后,回到部署通道页面点击研制连通性按钮,验证成功后可关闭页面进入下一步。
5. 进入节点信息页面,根据提示填写需要部署 TKE Anywhere 的节点信息。
网卡名称:填写服务器网卡名称。
Master&Etcd:依次填写 3 台Master 服务器的 IP 地址、SSH 端口、用户名和密码。
部署环境预检:在开始部署之前,请执行部署环境预检。如果检查未通过,请根据提示信息调整部署环境配置,然后重新进行检查,直至检查通过。
6. 进入组件配置页面,根据提示填写需要配置的组件信息。
本地控制台:使用默认配置,或使用自有域名。以本文演示为例,此处填写 console.tke.com。
7. 单击下一步确认信息,确认信息无误后,单击完成开始安装,并等待安装完成。
添加 Worker 节点
1. TKE Anywhere 集群部署完成后,请参见 登录和管理 TKE Anywhere 集群,登录本地控制台。
2. 进入 TKE Anywhere 本地控制台,在集群管理单击集群名称进入集群详情页。
3. 在节点管理页面,当前可以查看到 global 集群已包含 3 台 Master 节点。单击左上角添加节点,继续为集群添加 Worker 节点。
4. 添加节点后,单击保存和提交,TKE Anywhere 开启连接 Worker 节点开始安装。等待数分钟后,Worker 节点安装完成,您可以在节点管理页中查看新添加的节点。
验证 TKE Anywhere 集群
在完成 TKE Anywhere 集群部署和添加 Worker 节点的步骤后,您可以按照以下步骤验证您已经成功创建了一套生产可用的集群:
1. 登录 云原生分布式云中心控制台。
2. 在分布式基础设施集群页面,单击 TKE Anywhere 集群名称。
3. 在集群节点页面,确认您的集群中包含 3 台 Master 节点和 3 台 Worker 节点,如下图所示:
4. 在命名空间页面,确认所有的 deployment 服务都处于正常状态。
5. 在 Deployment 页面,单击新建,按照页面上的提示填写相关信息,单击创建,等待工作负载创建完成。
6. 在工作负载创建完成后,您可以在 deployment 页面中查看该工作负载。如下图所示:
7. 登录本地控制台,运行
kubectl get deployments
命令,确认您刚创建的 deployment 实例已经成功运行在本地集群上。8. 如需检查您的 TKE Anywhere 集群是否具有高可用性,您可以选择任意一台节点,并使用相应的工具进行关机操作,来模拟节点故障。等待一段时间,直到集群自动进行故障转移并恢复正常状态。您可以使用
kubectl get nodes
命令来确认节点的状态,并使用kubectl get deployments
命令来确认工作负载的状态。您可以重新执行步骤1-7,并确认它们能够正常运行。