TKE 注册节点，IDC 轻量云原生上云的最佳路径

林顺利，腾讯云原生产品经理，负责分布式云产品迭代和注册节点客户扩展，专注于云原生混合云新形态的推广实践。

背景

企业在业务的持续运维过程中，感受到腾讯云 TKE 带来的便捷性和极致的使用体验，将新业务的发布以及老业务的维护都迁移到云上 TKE 来实现。但很多企业数据中心建设较为早期，选型上采取了自建 IDC 机房的方案，长久以来的 IDC 运营维护和企业上云的诉求产生了冲突和矛盾：

1、资源难利旧/利用率低

• 业务大部分在云上运行，存量的 IDC 主机难以利旧；
• 云下资源业务利用率低（主要是 CPU 资源），平均不超过20%，资源浪费严重；
• 对于 GPU 只能实现整卡利用，多数业务运行达不到单卡门槛时产生了 GPU 资源浪费；

2、运维成本高

• 自建 Kubernetes 带来了运维的部署交付和维护成本；
• Kubernetes 的升级维护、组件（如 kubelet）的升级维护带来了运维的持续运营成本；
• 自建集群出现问题时，尤其是系统组件问题场景下，故障定位难，修复成本高；
• 基于自建集群，实现运维的监控需求，要求运维进一步自建监控系统、日志系统，增加了运维复杂度；

3、难以统一调度

• 云上已经使用容器服务，云下有物理机，难以打通云上云下资源，实现统一调度和管理；
• 云上和云下资源分布在不同的地域，难以将不同地域的资源放在一个集群中统一管理；

云上和云下的统一纳管

如何解决企业 IDC 和上云的冲突问题？这似乎在过去已经有了答案 - 混合云部署。但是当下，我们面临的是云原生的新场景而非单纯的上云，因此，我们基于传统混合云的解决方案进一步深入思考，首创出 IDC 轻量级云原生解决方案 - 注册节点 ：IDC 节点和 TKE 打通，云上作为管控面来提供管理、调度、监控能力，云下 IDC 作为支撑面来实际承载业务运行。在满足企业资源利旧、托管运维、混合部署/调度等云化场景的同时，将云上关于降本增效的核心特性下沉到 IDC 节点实现无缝集成，进一步促进了 IDC 节点资源的有效、高效利用。

TKE 注册节点的核心特性

• 成本洞察：可视化监控各种类型工作负载下各项维度指标的使用情况，帮助用户发现资源浪费；
• Crane：负载资源配额的智能推荐和节点上业务的专有调度，提高资源利用率； qGPU：强隔离的 GPU 虚拟化技术，业务分配 GPU 不是按整卡而是可按 1/10 卡做细粒度的分派，减少 GPU 资源浪费；

注册节点已经支持腾讯上万台 IDC 节点，CPU 累计超过 500w核，成为 IDC 节点轻量上云新范式。在上云同时，平台侧借助云原生资产大盘的资源监控和 Crane 的专有调度能力，提升了 IDC 节点的资源利用率，节点资源平均水位值由 15% 迁越至 50%。

注册节点，IDC 轻量级云原生最佳路径

TKE 注册节点是针对混合云部署场景，全新升级的节点产品形态，解决了企业在 IDC 运维过程中面临的各类问题：

1. 资源利旧和利用率提升 充分利用 IDC 资源，并通过 Request 推荐、动态调度、节点超卖等能力进一步提升 IDC 资源的利用率。同时针对于 GPU 资源使用，提供厘核级算力隔离与多优先级混部。
2. 节点托管运维 免去在本地搭建、运维 K8s 集群的成本，无缝集成腾讯云云原生相关服务，涵盖日志、监控、审计、存储、容器安全等能力，用户仅需要运维本地服务器即可，并提供节点声明式运维的能力，支持节点快速升级及回滚。
3. 云上云下统一调度 支持在单集群内同时调度本地节点与云上 CVM 节点，便于将云下业务拓展至云上，同时无需引入多集群管理。

注册节点产品能力

云上能力赋能云下

• 可视化资源监控：通过 CPU/内存利用率、节点装箱率等指标直观展示成本消耗和资源浪费现状；
• 业务配额智能推荐：根据业务 Pod 的历史水位，帮助用户推荐、配置合理的 request；
• GPU 共享有效利用：提供了 qGPU 能力，qGPU 是内核级别 GPU 虚拟化技术，实现 GPU 共享和强 QoS 隔离，性能几乎零损耗；
• 动态调度、重调度：提供目标利用率配置能力，基于真实利用率调度，保持节点在安全水位；

IDC 资源利旧和托管免运维

IDC 注册节点托管至云上，作为 TKE 的worker节点承载业务，天然实现了资源利旧；控制面在云上 TKE，集群组件的运维、升级、持续运营都由 TKE 自动化实现。

提升 IDC 节点利用率

基于 Crane 的专有调度器提供了节点超卖的能力，用户可以自主配置节点的放大系数，业务动态调度至放大节点上，提升了节点的装箱率并进一步提升了节点的利用率。

统一纳管云上和云下节点

云上节点和注册节点通过不同的节点池来进行管理，业务资源调度时可指定节点池和节点类型，可以实现云上云下相互弹性。

注册节点使用场景

企业 IDC 资源利旧

企业 IDC 中存在各类急需有效利旧的服务器节点，包括 闲置节点、老旧节点、退保节点等，这些节点面临诸多问题：

• 机器是异构的，难以统一满足业务的诉求；
• 老旧机器的运维复杂，难度高；
• IDC 节点资源利用率低，浪费严重；
• 本地私有容器化建设和维护成本高；

通过注册节点的方案，企业在极短时间内就能够完成 IDC 节点接入 TKE 的动作（单节点10min内接入），使用 TKE 服务。并且，进一步：

• 复用 TKE 云上能力，包括监控，日志，安全等；
• 提升了资源利用率：复用云上节点利用率提升方案，最高可提升5倍；
• 方便升级运维：云上集群自动升级，节点可设置升级窗口升级。

GPU 细粒度分配

当用户业务 Pod 需要使用 GPU 资源且使用量较低甚至不满1卡时，如果采用 Kubernetes 原生的GPU 配额机制会造成资源浪费。

注册节点无缝集成了腾讯云 qGPU 技术，支持在多个容器间共享 GPU 卡并提供容器间显存与算力强隔离的能力，从而在更小粒度使用 GPU 卡的基础上，保证业务安全，达到提高 GPU 使用率、降低用户成本的目的。依赖底层强大的 qGPU 隔离技术，可做到 GPU 显存和算力的强隔离，共享使用 GPU 的同时，保证业务性能与资源不受干扰。

多地域统一管理

用户在不同地域中都有存量的 IDC 机房场景下，想要实现统一的资源管理难度非常大，每个地域新建管理平面和业务发布流程增加了运维日常工作复杂度。

注册节点方案可以帮助用户将不同地域的 IDC 注册到同一个 TKE 集群中进行统一的管理运维，统一了管控入口，降低了运维的复杂度。

云上云下容灾调度

负载+高可用的多集群、多套方案的运维成本高，而公有云和 IDC 资源的隔离性，天然适合用来企业落地业务的容灾场景，用户急需探寻如何通过云上云下实现容灾调度的需求。

注册节点方案中，业务可以自定义调度模式，用户可以自主选择将服务调度至云上还是云下，云上云下相互弹性，满足单集群容灾场景。

如何创建注册节点

使用注册节点功能的前提条件：

• IDC 节点操作系统：tencent os 2.4、3.1 ；
• TKE 标准集群：版本 v1.18及以上；网络插件类型为 cillium overlay；
• 网络打通：IDC 和 TKE 专线打通；

节点注册步骤：

TKE 标准集群，进入集群详情页 > 选择左侧菜单栏中的节点管理 > 节点池 > 点击新建节点池，选择注册节点池并填写对应参数提交。

节点池创建完成后进入节点池 > 点击新增节点，复制命令并到 IDC 主机上执行即可。

总结

腾讯云 TKE 中提供了 3 种节点运维的新范式：

• 声明式节点运维-原生节点；
• 有节点的 Serverless – 超级节点；
• IDC 轻量上云–注册节点；

3 种节点类型分别面向客户不同的业务场景，TKE 实现了一个集群中同时纳管这 3 种节点新范式和 TKE 普通节点的统一管理、调度方案。这也是腾讯云原生一贯的科技与人文观念，用融合的形态帮助客户解决各类业务支撑的问题、持续关注降低用户的运维成本。

我们希望通过企业渐进式上云最佳方案注册节点，最低成本的实现 IDC 业务原地云原生，用户可以便捷的、分钟级的获得云上云原生的能力，实现降本增效。