带宽利用率提升50%，腾讯云联网架构方案解析

腾讯云开发者

发布于 2020-12-23 11:10:06

3.7K0

发布于 2020-12-23 11:10:06

导语 | 企业 A 是一家互联网公司，当前在云上计算资源已经接近 10W 核，华东地域专线流量 24G+，资源部署以华东为主、华北、华南、西南等可用区为辅。该企业属于典型的混合云架构，本文主要分享企业A如何通过云联网架构优化实现带宽利用率提升50%，希望与大家一同交流。文章作者：李彬文，腾讯云售后架构师。

一、云联网背景介绍

1. 对等连接概述

对等连接（Peering Connection）是一种大带宽、高质量的云上资源互通服务，可以帮助打通腾讯云上的资源通信链路。对等连接具有多区域、多账户、多种网络异构互通等特点，支持 VPC 间互通、VPC 和黑石私有网络互通，满足不同业务的部署需求。

2. 传统专线概述

混合云架构前期都是使用传统的专用通道打通用户 IDC 与云上 VPC。如果一根物理专线需要打通多个 VPC，需要通过不同的 VLAN ID 分别创建专用通道来连接多个VPC。

3. 云联网概述

云联网（Cloud Connect Network，CCN）为用户提供云上不同 VPC间、VPC 与本地数据中心间（IDC）内网互联的服务。具备全网多点互联、路由自学习、链路选优及故障快速收敛等能力。

云联网覆盖全球 20+ 地域，支持 100+Gbps 带宽以及最高可达 99.99% 的可用性，为用户轻松构建极速、稳定、安全、灵活的全球互联网络，典型应用场景如下：

VPC 与 VPC 间高质量内网互联：在线教育多个地域的实时音视频系统、游戏加速多地域内网互联、多地域容灾架构。
VPC 与 IDC 间内网全互联：一个专用通道打通多个 VPC，实现单次接入全网互联，如混合云场景。

云联网对比对等连接和传统专线的优势如下图所示：

下文将从企业 A 的实际出发，介绍企业 A 采用腾讯云联网的架构优化实践。

二、企业A架构现状介绍

1. 企业A混合云背景介绍

企业 A 核心业务位于华东地区，在上海有两个 VPC，一个自建 IDC。在北京、成都、广州、HK 各有一个 VPC，其中 HK 的 VPC 用于接入海外业务。

最终通过对等连接以及传统专线通道实现所有云上 VPC 与自建 IDC 的互联互通（由于传统架构互联线路较多暂不提供具体拓扑，下文提供了分解拓扑）。

2. 公有云VPC通过对等连接互联架构

企业 A 上海地域当前是两个 VPC，一个是业务 VPC，另外一个是用于测试的 VPC，同地域两个 VPC 之间理论上不限制带宽，除非底层数据中心的 DCI 互联带宽（DCI 互联带宽都是上 T 级别）被打满才会导致同地域对等连接丢包；
企业 A 的少量海外业务通过香港 2 区的 VPC 做接入，再通过 100Mbps 的对等连接实现打通上海 5 区的核心业务 VPC；
企业 A 分布在华东、华北、华南、西南的业务 VPC 通过对等连接全互连实现业务互访。

3. 公有云VPC与自建IDC通过传统专线互联架构

名词解释：NGW（底层专线网关集群）、QCAR（网络设备）、QCPL（网络设备）IDC（数据中心）。

企业 A 公有云 VPC 到自建 IDC 每天峰值总流量 24Gbps，正常四条 10G 专线均分流量为：24Gbps*25%=6Gbps；
当前企业 A 的传统专线架构是专线 1 与 2、专线 3 与 4 相互备份，当专线 1 故障，那么专线 1 的流量会转发到专线 2，所以每条专线的带宽使用率不建议超过 50%；
由于企业 A 业务快速增长，当前每条专线的带宽使用率已经达到 60%。如果上图 2 的专线 1 故障，就会有 12Gbps 的流量转发到专线 2，最终导致专线 2 带宽拥塞而丢包影响业务。

4. 当前互联架构的挑战

公有云 VPC 之间互通要建立全互连的对等连接，并且每次增加 VPC 都有增加大量对等连接和路由，最终导致维护成本越来越高；
跨地域对等连接的底层网关集群故障无法自动切换路由恢复，止损耗时久；
企业 A 自建 IDC 到腾讯云的四条专线，如何实现中断任何一条，另外三条专线可用均分故障链路的流量，最终通过最低的成本解决丢包问题；
企业 A 有四个公有云 VPC 需要和自建 IDC 互通，那么需要四个专线网关，以及 16 个 BGP 邻居和专线通道。后续每增加一个 VPC 就会增加四个专线通道，最终导致专线的运维成本增加。

三、云联网改造方案介绍

1. 公有云VPC通过云联网互联架构设计

企业 A 所有 VPC 只需要加入新建云联网实例，即可实现相互路由自动学习，无需维护大量对等连接和大量手工添加的路由；
所有存量 VPC 以及后续增量 VPC 互通的流量都需要通过云联网实现，可以将该云联网实例看作企业 A 的虚拟骨干网；
多 AZ（可用区）网关集群容灾，可用性比对等连接更高；
跨地域云联网网关之间会有拨测，最终选择最优路径来降低延迟，提升业务稳定性。

2. 公有云VPC与自建IDC通过云联网互联架构设计

名词解释：CCNGW（云联网类型专线网关）、QCAR（网络设备）、QCPL（网络设备）IDC（数据中心）。

企业 A 所有 VPC 以及四个专线网关都加入同一个云联网实例最终实现相互访问，并且无论几个 VPC 和自建 IDC 互通只需要 4 个专线通道即可（简化配置复杂度，简单可靠）；
云上 VPC 路由下一跳是云联网，然后通过 ECMP（负载均衡）四份流量到 4 个云联网专线网关，最终通道底层路由将流量通过四条物理专线转发到自建 IDC（逻辑转发路径：VPC---CCN---专线网关---专线---IDC）；
假设企业 A 的物理专线 1 再次中断，那么 QCPL1 无法收到自建 IDC 的 BGP 路由。最终通过路由收敛使得云联网将流量转发给云联网专线网关 2-4，从而实现任意一条物理专线故障都会将流量均分给其他三条专线；
在成本不增加的情况下，通过云联网的改造将专线带宽利用率从理论值 50% 提升到 75% 实现降本增效。

四、云联网改造总结

1. 云联网改造带来的实际收益

企业 A 所有云上 VPC 不必两两之间创建对等连接，只需要加入云联网即可实现全部的互联互通，降低了云上 VPC 的运维成本；
企业 A 跨地域 VPC 互通的网关集群实现多 AZ 容灾，提升跨地域互通的可用性；
企业 A 的四条专线峰值总流量 24Gbps 情况下中断任意一条都会通过路由收敛自动恢复业务，不必依赖于被动等待专线修复或者降级其他业务来恢复，最终提升专线的高可用性；
企业 A 云上 VPC 与 IDC 互通只需要创建 4 个 BGP 邻居即可，也不必为每个云上 VPC 创建专线网关，最终极大降低专线的运维成本。