专栏首页鹅厂网事腾讯高性能分布式路由技术,亮相亚太网络研讨会APNet

腾讯高性能分布式路由技术,亮相亚太网络研讨会APNet

亚太网络研讨会(APNet)汇聚亚太地区计算机网络和系统领域最优秀的研究人员,分享各自最新的研究成果,讨论当前最前沿的热点研究问题。2020年8月3-4号,为期两天的第四届亚太网络研讨会(APNet’20)在线上举行,包括腾讯、阿里、微软、英伟达、思科、字节跳动等分别分享了各自在网络领域的最新成果,其中腾讯TEG网络平台部架构师吕建超做了主题为Scalable and Flexible Routing Service for Tencent Cloud Access Network的演讲。

https://conferences.sigcomm.org/events/apnet2020/index.html

随着云计算、5G、AI等的普及应用,越来越多客户将自己的服务部署在腾讯云上,腾讯云的规模在近几年迎来了爆发式的增长。高速增长的客户连接请求和海量的终端用户访问,对腾讯云的接入网络提出了新的挑战。

2020年08月03号,在亚太网络研讨会APNet上,腾讯详细介绍了腾讯软件定义路由器(SoftwareDefined Router)的架构,设计理念,以及SDR在不同的接入场景中如何通过软件定义的方式解决云网络规模下的灵活性,扩展性和高可用性。

腾讯的接入网络主要有三种场景

1.专线接入,通过在接入点部署专线网关,将大型企业客户自有数据中心就近接入腾讯网络,为客户提供高带宽、低时延和高安全性。

2. VPN接入,企业分支通过Internet接入腾讯云,以低成本的方式访问云上资源。

3. 终端用户接入,腾讯通过在全球的区域核心和POP点部署TIX(Tencent Internet Exchange)基础设施,为全球终端用户访问腾讯云上资源提供高效通道。

早期,在腾讯云规模还比较小的阶段,腾讯的接入网络主要通过部署传统商业路由器或交换机实现和外部网络的互联互通。

随着腾讯云近几年的高速发展,新的挑战不断出现,包括:

1.    千万级别路由表项,10T级别转发性能,不同维度能力能够按需横向扩展

2.    网络特性需快速迭代,满足不同接入场景的互通和调度需求

3.    网络Capex和Opex需持续优化

由于传统的商业网络设备并不是面向云网络而设计,面对云网络规模下新的挑战,逐渐无力支撑。主要表现在:

1.    软硬件厂商绑定,高度耦合,特性迭代周期长

2.    性能、规格无法灵活按需扩展

3.    高成本  

显然,面对云网络规模,我们需要全新的系统架构。为此,网络平台部基于高可扩展、超灵活、高可靠、高可运维的设计原则,重新设计了面向云网络规模的网络服务架构。

新的架构,我们称之为软件定义路由器(Software Defined Router),核心理念是将复杂的网络功能和特性从网络硬件上剥离后转移到通用x86服务器上,面向云网络需求,通过软件编程的方式定义云网络路由器。

新的架构体系下,网络功能整体上被划分为overlay网络和underlay网络。

Overlay网络又进一步划分为四大功能组件,Data Plane、Routing Plane、Control Plane和Orchestrator。不同功能组件部署在不同的服务器集群,各组件可根据自身特性和需求独立进行设计,维护和升级。同时,基于软件编程的模型,极大提升了网络的灵活性,开发和迭代速度相比于传统网络提升了10x,更快更好的满足客户的多样化需求。

Underlay网络采用低成本的盒式交换机组网。underlay网络只需提供简单的IP Backbone功能,用于连接内部组件和外部网络,underlay网络对overlay业务完全不感知。

SDR的内部组件之间通过分布式消息队列高效同步路由、ARP及静态配置信息,同时在边缘部署EA交换机,用于和外部网络互连。EA交换机工作在L2网络中,负责向外部网络提供多类型的互联端口(GE/10GE/00GE)和实施L2层网络隔离。Data Plane通过自研的用户态协议栈,负责高性能的数据转发。Routing Plane和外部路由器及内部路由组件之间通过BGP协议传递路由信息。Orchestrator和Control Plane分别以Global Controller和Local controller的角色负责全局或区域级配置、管理及运维信息的同步。另外,为高效的同步SDR内部组件间的海量动态流表信息,Control plane同时提供高性能分布式消息通道和分布式存储服务。

作为内外网络的连接器,全新架构下的SDR,通过在全球Access Site的部署,彻底打通了传统网络和云网络的任督二脉,实现了外部网络及腾讯内部网络的高效互联互通,为多样化网络服务的集成和互操作提供了极大的便利性。

SDR天然软件定义的特性,使其无论是在灵活性、扩展性、可靠性和可运维性上,相比于传统网络都呈现除了实质性的升级。

灵活性方面,外网出口流量,通过SDR的Flex rules,可以根据不同客户,不同业务的需求,实现精细化的灵活调度。外网入口流量,通过超大规格路由表,可实现基于32位Ipv4或128位Ipv6粒度的精细化调度,支撑内部网关或服务的灵活迁移和灾备。

FW/DDoS等安全服务,利用SDR的Flexrules,可按需引导攻击或异常流量的重定向和清洗后流量的回流。通过在FW service和SDR之间部署VxLAN,支持FW service本地化部署,或远端部署。DDoS防护上,SDR同时支持基于软件的大规格转发表项,和基于硬件的超大带宽转发能力。

为了进一步提升性能,SDR引入Tencent Smart Switch(TSS)实现硬件加速。TSS是腾讯自研的可编程交换机,提供硬件T级别的线速转发能力和微妙级的低时延。TSS被定义为Data Plane的offloading组件,通过可编程语言对ASIC报文处理行为进行定制,形成通用的基于流和基于LPM的Pipeline,通过和Data Plane、Control Plane的协同工作,为不同业务场景提供硬件加速能力。

SDR目前可提供10Tbps的转发能力,1000万级别的路由表,100k/s的端到端路由更新能力。

可靠性方面,基于冗余架构设计,各个组件出现单点故障时,系统不受影响。同时,由于组件之间完全解耦,转发平面,在其他组件故障时,可提供Non-stop forwarding (NSF)能力正常处理报文。路由平面,SDR将BGP功能进一步拆分为BGP speaker unit和BGP route computation unit, 部署在不同的集群中。其中,BGP speaker unit以peer粒度进行部署,升级和快速故障恢复,提供Non-Stop Routing (NSR)能力。

可运维方面,SDR通过和Real-time Monitoring and Operating System(RMOS)系统的联动,实施不同级别cluster-level、server-level、core-level的实时探测和故障快速隔离。同时,根据丰富的日志和告警信息,对SDR健康状况进行实时监控。另外,SDR提供一键隔离,快速路由收敛和跨域容灾等能力,从全网视角保证客户业务不中断。

未来,SDR将提供针对不同层级网络,端到端的,实时网络质量探测和分析能力。基于实时的、不同维度的网络质量、SDR将实施动态的、多维度、细粒度的流量调度策略。同时,SDR将集成网络仿真和网络验证平台,进一步提升全网的可靠性和可运维性。

总结,面向云规模网络,SDR通过软硬解耦、功能解耦和软件定义的方式,为腾讯云构建了一个具备超高灵活性、扩展性、可运维性和低成本的全新接入网络。

欢迎关注公众帐号“鹅厂网事”,我们给你提供最新的行业动态信息、腾讯网络最接地气的干货分享。

注1:凡注明来自“鹅厂网事”的文字和图片等作品,版权均属于“深圳市腾讯计算机系统有限公司”所有,未经官方授权,不得使用,如有违反,一经查实,将保留追究权利;

注2:本文图片部分来自互联网,如涉及相关版权问题,请联系v_meizhuang@tencent.com

鹅厂网事

分享鹅厂网络的那些事

扫码关注!解锁更多~

本文分享自微信公众号 - 鹅厂网事(tencent_network),作者:吕建超

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-08-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 鹅厂如何构建大型基础网络平台

    笔者用较小的篇幅来讲实现细节,而较多的内容聚焦在鹅厂在做这些工作时候的一些思路和经验,希望能给大家带来一点点参考价值。

    鹅厂网事
  • 腾讯5G示范项目获GNTC国际大奖,推进边缘计算和网络加速等核心技术发展

    欢迎关注公众帐号“鹅厂网事”,我们给你提供最新的行业动态信息、腾讯网络最接地气的干货分享。 注1:凡注明来自“鹅厂网事”的文字和图片等作品,版权均属于“深圳市...

    鹅厂网事
  • 云数据中心下的光网络

    引子 过去的10年是互联网高速发展的10年,随着产业的不断发展,应用种类极大丰富,用户规模空前庞大。往往一个应用就拥有千万级别用户,上P数据量。在这样的环境下,...

    鹅厂网事
  • 来呀!AI喊你斗地主——首个搞定斗地主的深度神经网络

    【导读】近年来,从围棋到 Dota 团战赛,深度神经网络应用在各种游戏竞赛中不断取得突破。这一次,有人把这种方法用到斗地主游戏的研究中,可以说真的很接地气了!

    AI科技大本营
  • 使用Git多人协作,完成项目开发

    HTML5学堂-利利:关于Git的知识,我们共分成了四个大步骤进行讲解,之前我们提到了Git的安装与配置、Git在本地的使用方法,如何创建Git本地仓库与服务器...

    HTML5学堂
  • [译] A Neural Algorithm of Artistic Style

    zhwhong
  • Microbiome: 画一个全球微生物网络图~

    Link: https://microbiomejournal.biomedcentral.com/articles/10.1186/s40168-020-00...

    生物信息知识分享
  • 前端入门5-CSS弹性布局flex声明正文-弹性布局flex

    作为一个前端小白,入门跟着这四个来源学习,感谢作者的分享,在其基础上,通过自己的理解,梳理出的知识点,或许有遗漏,或许有些理解是错误的,如有发现,欢迎指点下。

    请叫我大苏
  • 手把手:一张图看清编程语言发展史,你也能用Python画出来!

    大数据文摘
  • flex布局 原

    Flex是Flexible Box的缩写,意为弹性布局,用来为盒状模型提供最大的灵活性。在处理垂直方向的对齐比较方便,现在越来越多的浏览器已经支持flex布局,...

    tianyawhl

扫码关注云+社区

领取腾讯云代金券