巧捷万端，灵活易用—SD-WAN技术创新与实践

SD-WAN背景

近几年以云计算、边缘计算为代表的计算技术发展的如火如荼，随着企业上云、产业互联网、SaaS服务的显著趋势，企业传统的广域网架构在敏捷上已经跟不上业务创新的节奏，且网络部署、管理和维护给企业带来了比较大的负担，在此背景下腾讯云推出了SD-WAN接入服务（SD-WAN Access Service）为助力客户快速构建云、本地IDC、多分支的任意互联，具有ZTP即插即用、多地域覆盖、就近接入、智能管控等特性、为客户提供简单、可靠、智能的一站式上云体验。其依托腾讯广覆盖的接入点资源，高速稳定的DCI网络、极速经济的全网互联服务云联网（Cloud Connect Network，CCN），其背后主要的核心技术是SDN（Software-Defined Networking）、NFV（Network Functions Virtualization），接入点优选、智能调度、路由学习、多维度高可靠高可用机制。

SD-WAN与云网络的关系

云网络与云计算、边缘计算的发展是相辅相成的，计算技术的发展对网络提出新的需求和挑战促进新的网络技术不断涌现，网络技术的发展同时也为云计算的普及起到了促进的作用，云网络是因云而生的，通常包含三部分：云内网络、云间网络和上云网络。

某个地域内的云内虚拟机或容器间通信催生了云内网络，VPC网络技术已成为云内网络的事实标准；

跨地域间的VPC间通信催生了云间网络，云间网络起初业界采用的是点对点互通模型，如腾讯云的对等连接（Peering Connection）服务，当前业界大都演进到了Hub-Spoke模型，如腾讯云的云联网（Cloud Connect Network）服务，云联网是Hub，VPC是Spoke；

客户访问其云中的IaaS等资源催生了上云网络，SD-WAN属于上云网络中的一种可选方案，如腾讯云的专线接入（Direct Connect）、VPN连接（VPN Connections）、SD-WAN接入服务（SD-WAN Access Service）。

SD-WAN是Software-Defined Wide Area Network的缩写，即软件定义广域网，是SDN在WAN领域的应用，SD-WAN本质上是基于SDN的思想和方法来实现敏捷、可编程和灵活调度的智能广域网，SD-WAN是面向全网跨地域提供接入服务的，因此其涵盖了上云网络和云间网络的相关服务和技术。

SD-WAN应用场景

SD-WAN除了是一种重要的上云网络方案来实现客户企业IDC/总部/分支/门店与云VPC之间的互通之外，SD-WAN还支持其他多种应用场景：大中型企业多分支间互访、分支与总部之间互访、分支与IDC互访；连锁零售型企业的门店与总部互访；企业的多云互通场景。

腾讯云SD-WAN接入服务除了支持上述互联场景之外，还具备ZTP(Zero-Touch Provisioning)、接入点优选、分支网络管理、跨地域灵活的互联互通、网络安全、端到端高质量、高可靠、高可用链路、全局集中智简运维以及可视化的特性，腾讯云SD-WAN接入服务特性及互联场景如图1所示：

 图1：SD-WAN接入服务特性及互联场景

腾讯云SD-WAN接入服务由Edge设备和控制台两部分组成，Edge基于白盒硬件构建自研OS及软件，支持4G/5G SIM卡，支持IPSec转发、WLAN、状态ACL、路由、NQA探测、QoS等功能，通常部署在用户的分支、门店，控制台是用户管理其SD-WAN网络的入口，SD-WAN接入服务业务发放流程如图2所示：

图2：腾讯SD-WAN接入服务业务发放流程

SD-WAN技术挑战及解决之道

挑战1：大规格组网、弹性伸缩

分布式Regional Hub-Spoke模型

云原生SD-WAN作为公有云网络服务，需要面对多租户，且有些租户有大量分支或门店需要接入与云上VPC互通、分门店与总部互通，面临了大规格组网的技术挑战。传统企业广域网互通模型常见有点到点Full-Mesh通信模型或集中式Hub-Spoke模型，Site-to-Site Full-Mesh通信模型网络规模变大互通管理越复杂且繁琐，适合微型网络规模的场景，为了较少互通管理的复杂度，优化为集中式Hub-Spoke模型，该模型虽然可以通过Hub来集中管理互通，但随着网络规模的进一步扩大，集中式Hub会逐渐成为瓶颈。腾讯采用云原生SD-WAN基于分布式Regional Hub-Spoke通信模型设计的一张基于Overlay的虚拟化骨干网来支持大规格组网，接入到同一Region内的Edge设备之间的互通由regional Hub汇聚处理，跨Region的互通通过腾讯云云联网来实现，支持万级Edge设备接入，如图3所示：

图3：分布式Regional Hub-Spoke通信模型

面对大规格端设备、系统弹性伸缩的挑战，腾讯基于SDN和NFV技术来设计SD-WAN解决方案实现转控分离、弹性伸缩、系统灵活扩展，其中控制面包含SD-WAN控制器系统和分布式路由系统，转发面我们基于NFV技术构建弹性伸缩的能力，控制面是整个实现方案中的路由学习、管控、调度、编排中心，SD-WAN控制器系统我们基于分层分域、微服务、平台化以及支持弹性伸缩的转控分离的统一网络配置模型来构建，分布式路由系统我们基于自研的FCR（Fast Cloud Router）和Route Service来实现，SD-WAN控制系统架构如图4所示：

图4：腾讯云SD-WAN控制系统架构图

SD-WAN控制器分层分域

Global级控制器：SDWAN Global Controller，SDWAN全局控制器，负责整个SD-WAN接入服务的业务编排、分支网络管理、接入点优选算法、IPSec VPN隧道编排、CPE关联/解关联云联网、发布和撤销云联网路由；CPE Register，CPE注册中心，负责CPE的安全注册、CPE控制器集群分配、Token管理等。

大区级控制器：CPE Controller，CPE控制器，大区分为中国大区和海外多个大区等，CPE控制器负责对大区内的CPE进行管控，如CPE配置下发、状态上报等功能。

Region级控制器：SDWAN Region Controller，SDWAN Region控制器，负责Region内的PoP点网络资源管理、IPSec VPN隧道配置编排，SD-WAN在region中的实例我们定义为CAN（Cloud Access Network）。

控制器微服务和平台化

基于微服务和平台化思想拆分出了多个平台化服务组件，利用腾讯内部的TKE微服务治理系统，每个服务实例都支持虚拟化部署、根据系统业务负载各服务灵活的Scale-out弹性伸缩，整个控制器系统具备大规模、可扩展、高可用的能力，以下是三个平台化服务：

DeviceManager，负责设备管理服务，在该服务中抽象出设备、设备组模型。

Configure Delivery Service，负责设备配置下发。

Report Service，平台服务，负责接收设备上报的事件和信息。

Resource Manager，负责网络资源管理。

统一虚拟网络资源模型

基于转控分离、弹性伸缩、容灾、分布式Regional Hub特性的思路我们抽象定义了统一的通用VCRF（Virtual Cloud Routing Forwarding）虚拟网络资源模型，VCRF包含转发面模型vGW（Virtual Gateway）和控制面模型vCR（Virtual Cloud Routing）体现出了管控分离的思想，在VCRF之上通过VCRF Group模型便于Hub能力、弹性伸缩、容灾的网络配置编排，我们内部几大网络服务的网络配置编排都是基于该统一模型来实现，统一虚拟网络资源模型如图5所示：

图5：统一虚拟网络资源模型

分布式路由控制系统

基于转控分离、多级路由自学习，网络拓扑变化时快速端到端的路由收敛，支持千万级路由，包含两个组件：

FCR：完全基于开源组件自研的分布式软件路由器，实现BGP动态路由学习，支持BGP完整路由协议栈，支持丰富的路由策略及百万级路由管理功能，支持NSR（Non-stop-routing）高可用，快速迭代满足业务需求，基于X86架构灵活部署、支持物理和虚拟化部署。

RouteService：路由服务控制器与FCR对接，负责vCR的RIB学习并迭代计算出vGW上的FIB。

NFV技术支持转发面弹性伸缩

SD-WAN网关我们自研SGW（Security GateWay），SGW实现了高性能IPSec转发，支持IKEv1和IKEv2，支持多租户，支持GRE、VxLAN隧道协议，支持分片、重组、限速等特性，与商用设备相比，自研的SGW可以快速的响应业务需求，通过IKE/IPSec状态的实时同步以及各种异常状态的自动恢复来实现高可用，基于DPDK实现高性能收发包以及VPP的报文批量处理与预取机制实现高性能转发，基于VPP的node graph plugin编排机制实现灵活的扩展性。SGW通常部署在腾讯的PoP点，SGW支持基于X86和ARM架构，支持虚拟化灵活部署实现弹性伸缩如图6所示：

图6：NFV虚拟化平台

挑战2：链路高质量、高可用

接入点优选和高质量稳定DCI

接入点即PoP点（Point-of-Presence），腾讯云SD-WAN接入服务拥有广覆盖的接入点，并持续新建边缘PoP节点，SD-WAN控制器通过自研的智能接入点优选算法基于出口运营商属性、丢包率、延时、抖动等网络指标优选出最优和次优的两个接入点供CPE设备接入。腾讯云SD-WAN接入服务链路高质量体现在最后一公里这段SD-WAN控制器基于接入点优先算法将CPE设备就近接入到网络质量最优的接入点，腾讯高质量稳定的DCI内网链路加速了接入点与接入点之间、接入点与云VPC之间的通信，IPSec VPN接入性能时延由30ms降低到10ms以内。

多级HA和链路智能探测和调度

隧道级HA：CPE设备的每个物理链路如WAN口或无线4G/5G内都会配置主备两个IPSec VPN隧道，容忍VPN隧道级故障。

端口级HA：CPE设备支持主备双WAN口，且支持无线4G逃生通道，容忍物理链路级故障。

Edge级HA：分支内部双CPE组网具备互联口类型，控制器会下发联动配置到CPE，使CPE能够实现自动流量切换；

网关级HA：云端VPN网关为主备集群，容忍单台VPC网关设备级故障；

接入点级HA：主备隧道连接到不同的接入点上，容忍接入点故障；

综上多维度HA 设计如图7所示：

图7：多维度HA设计

SD-WAN CPE设备接入PoP点时，根据接入点智能优选算法调度到网络质量最优的PoP点，探测端到端链路实时分析链路网络质量、利用智能调度系统实现链路故障切换，避免链路拥塞、中断造成的通信延迟或失败，保证业务连续性和极致的网络体验，满足用户对网络高可用性的要求。

挑战3：敏捷服务开通、灵活易用、智简运维、端到端安全

SD-WAN实现了ZTP（Zero-Touch Provisioning）即插即用零接触全自动服务开通，该特性使客户无需安排专业网络运维人员逐一到各个分支去配置CPE设备以帮助客户节省运维成本，可以帮助客户更加敏捷的部署上云网络和企业广域网以支持客户敏捷业务创新。

腾讯云SD-WAN接入服务中ZTP的实现原理：客户在腾讯云官网下单SD-WAN CPE设备，CPE设备内置了4G SIM卡和CPE注册中心的域名，客户收到CPE设备之后，只需简单的把CPE设备插入电源开机，只要有移动网络覆盖、或插入网线连接宽带Model，CPE就可以自动地向CPE注册中心进行注册，注册通过后CPE注册中心会推送CPE控制器域名给CPE，随后CPE会自动向CPE控制器发起上线请求，支持CPE自动化的完成了注册、上线，此时客户就可以在腾讯云控制台来对CPE进行集中远程管控。

通过ZTP技术上云网络业务开通由星期级缩短到了分钟级。

网络接入灵活多样：SD-WAN CPE设备支持4G LTE、5G、Internet、专线接入到最优的PoP点，灵活支持Edge所处的位置和环境。

分支网络管控SD-Branch软件定义分支网络，用户可以在腾讯云控制台集中远程对其分支的LAN网络、WLAN网络、WAN侧端口、物理端口、逻辑端口、DHCP Server、状态ACL、路由、探测、IPSec等进行配置管理和网络链路状态可视化， CPE设备管控通道SSL加密、CA证书认证、Token/SN校验、腾讯公网入口DDoS防御、CPE设备转发面IPSec协议、状态ACL、多租户安全隔离、保证端到端安全和智简运维。

SD-WAN应用生态与技术演进

腾讯云作为公有云生态型的SD-WAN服务商，将探索与深信服等业界合作伙伴一起持续打造具有业界竞争力的SD-WAN解决方案和生态。

5G作为高带宽接入方案，SD-WAN结合腾讯TSAC（Tencent Smart Access Connector）5G边缘接入与加速平台，协同运营商5G网络，基于5G网络切片、QoS等技术、预铺设运营商机房到腾讯云PoP点专线通道，可以为客户提供媲美传统专线的网络质量保证，并大大缩短专线上云服务的开通周期，解决了客户机房因市政施工受限的问题，只要客户机房位于5G网络覆盖范围内就可以快速开通5G云专线业务，腾讯云5G云专线服务将提供上述能力。

物联网、边缘计算是新基建的重要组成部分和重要的技术趋势，随着数字化进程加速，越来越多的终端设备实现互联，无处不在的网络带来数据的指数级增长，处理海量数据带来的高并发给核心网和云计算中心带来极大压力，通过在客户业务现场融合部署CPE和AIoT（AI+IoT）边缘网关来支持WI-FI、LoRa、4G/5G等多种方式的物联网终端接入、AIoT网关搭配高算力AI加速卡和具备超强编解码能力通过边缘AI推理将数据智能化分析前置到本地业务现场、借助SD-WAN CPE便捷打通本地客户业务现场与腾讯云物联网边缘计算平台IECP（IoT Edge Computing Platform）实现边云协同，打造物联网场景下数据快速上云和边缘智能，广泛应用在智慧能源、工业质检、智慧农业等场景中。

在多云和分布式云场景中，通过SD-WAN vCPE来实现多云互联，分布式云与中心云的互联互通。继续增强NFV平台打造各种VNF的弹性伸缩、容灾调度能力。SD-WAN与SD-Branch融合支持远程智能分支网络管理，SD-WAN接入服务融合云网络安全服务如FW/IPS/DDoS等，构建SASE（Secure Access Service Edge）安全访问服务边界。

欢迎关注公众帐号“鹅厂网事”，我们给你提供最新的行业动态信息、腾讯网络最接地气的干货分享。

注1：凡注明来自“鹅厂网事”的文字和图片等作品，版权均属于“深圳市腾讯计算机系统有限公司”所有，未经官方授权，不得使用，如有违反，一经查实，将保留追究权利；

注2：本文图片部分来自互联网，如涉及相关版权问题，请联系v_jingjwli@tencent.com

鹅厂网事

分享鹅厂网络的那些事

扫码关注！解锁更多~