前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >5.0V—基于SDN的腾讯次世代数据中心网络架构

5.0V—基于SDN的腾讯次世代数据中心网络架构

作者头像
鹅厂网事
发布2018-01-30 16:55:33
2.1K0
发布2018-01-30 16:55:33
举报
文章被收录于专栏:鹅厂网事

"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。

经典科幻电影《2001太空漫游》中,有一个充满了神秘宗教意义的象征:黑石(黑色的方碑)。黑石每次的出现,都昭示了文明的转机。远古,黑石第一次出现,教会了猿人使用工具;2000年,黑石第二次出现,将人类从月球引向了木星,才有了之后2001太空漫游的故事。

时钟指向了2016年—NASA的玩具车在火星上溜达了4年之后,人类仍然没有漫游到木星。同一年,腾讯云推出了一款叫做“黑石”的私有云产品,成功的把多个私有云大客户忽悠上腾讯云的大船,开始了在云世界中的“太空漫游”。在这块黑色的方碑上,汇集了TEG和云平的多种先进技术。其中第一条,也是整个黑石的基础,5.0V网络架构。好吧,主角的名字很朴(Su)实(Qi),不过她,很有的内涵。

挑战

腾讯是一个持续高速发展的互联网公司,每年会持续不断的新增海量服务器建设需求,使用的是一个完全标准化的网络建设形态,有如下特色:

  • 多:常年大规模建设和部署。
  • 快:全流程自动化,建设高效率。
  • 好:网络性能充分满足腾讯自营业务需求。
  • 省:标准化建设,实现规模效应下的成本最优化。

以时下最热的楼市为例,腾讯自营业务的网络就是一个庞大的公寓群,拎包入住,高档精装修。

而在私有云网络中,面对的是各种千奇百怪的客户需求,和定制化的网络架构。在2015年一整年,原有在自营业务中使用的标准化网络建设方式,被腾讯云私有云用户虐的死去活来:

  • 可能多:每个用户建设规模不确定,会动态变化。
  • 快不起来:各种定制化需求,无法自动化,建设效率低,人力成本消耗严重。
  • 众口难调:不能完美的满足不同用户的定制化需求。
  • 不太省:不同用户的定制化架构,无法共享资源,无法有效的降低成本。

仍然以房地产为例,私有云用户的网络要求就如同一个小区里即有茅草屋,也有联排别墅。而且茅草屋的用户第二天就有可能要求原地推到重来为独栋别墅。

所有的挑战归结起来,只有两点:敏捷和资源共享。

5.0V架构概览

2016年,马特呆萌在火星自力更生的种了一年菜,网平那些被虐的死去活来的网工们也没有放弃,成功的研发出了次世代的IDC网络架构:5.0V。

首先是硬件选型,资源共享是主要考量:

  • 通过overlay转发的方式构架基础网络架构,即实现网络隔离,也实现了用户对基础网络架构的与位置无关的共享。简单来说,用户可以使用IDC机房里的任意位置的服务器,接入自己的自定义网路,并自由的定义该服务器的IP网段和路由。
  • 硬件ovlerlay转发:overlay转发节点为交换机,使用低成本高吞吐能力的转发芯片,实现高转发性能。相对于传统的云网络,无需损耗服务器性能。
  • NFV:计算要求高,交换机无法满足的L4-7层服务节点和网络增值业务节点(例如防火墙,LB,V**接入等),不再使用传统的昂贵且不易统一管理运维的硬件设备,而是改为部署在标准X86服务器上的NFV软件,实现灵活的功能部署和横向扩展。用户需要哪些NFV服务,只需要在标准的X86服务器上安装部署即可,随用随装,按需扩容。
  • 标准化的硬件选型+多用户共享IDC网络,实现规模效应下的成本优化。不同的用户使用同一个IDC网络,但同时满足用户之间的隔离,用户网络自定义以及质量保证。

接下来的考量是敏捷。动辄上万W的功耗,数百公斤的重量,金属打造的机身,复杂难懂的CLI,网络设备难免给人沉默、呆板的印象。怎么让他敏捷起来?

网平网工们的选择:Infrastructure As Code。

由Network Orchestrator、NFV Controller和Fabric Controller三种控制器组件,构成分层、解耦的网络编排架构,实现灵活高效的交换机和NFV设备控制,并提供丰富的北向API接口。

当最终的用户需要使用网络功能时,IT人员不再需要去学习那些复杂的网络协议和设备命令行,只需要在软件中调用简单的API接口,既可以完成如下这些网络功能的弹性部署。

  • 用户网络自定义:满足多样的用户网络需求。
  • 网络部署自动化:大量节省网络交付时间。
  • 丰富的互联能力:Internet出口,与用户自有机房通过专线互联/通过IPsec V**互联、跨地域的云间互联。
  • 丰富的增值服务能力:防火墙,LB等L4-L7的网络服务,云数据库、云存储、docker等云服务。

5.0V承载案例

敏捷和资源共享是5.0V的主要卖点。我们举几个例子,看看她是怎么工作的。

案例1:中小企业客户IDC网络建设交付周期

传统架构: 中小企业客户的私有云网络建设。首先企业的IT人员需要和业务部门沟通需求;然后是资源评估;之后再结合计划使用的网络设备的具体规格和能力,做架构设计;最后才是网络建设。整个流程下来,从用户立项到最终的机房交付,即使是加班加点,整个周期也得3-4个月。

5.0V:中小企业客户在腾讯云下单后,用户的IT人员,直接在云平的前台web页面上,按照腾讯抽象出来的网络模型设计自己的网络架构,不需要考虑底层网络设备的差异。下发提交后,5.0V的业务编排系统会根据用户的需求和网络设计,全自动化的完成资源调配和网络配置,1天搞定。

案例2:网络资源的弹性调度

某电商客户要搞促销活动,需要临时紧急进行网络资源扩容。

传统架构下存在如下问题:

问题1:机房里是否还有机位资源,机房是否还有多余的出口带宽资源?没有! 新建一个IDC吧,3个月;

问题2:公网出口设备、LB和FW的性能是否够用?不够!紧急采购扩容,修改网络架构,重新做业务部署,2个月;

问题3:城市A的机房到城市B的机房的专线带宽是否够用?不够!紧急进行专线建设,联系运营商施工,做网络设备配置,2-6个月;

好吧,看起来该电商如果想搞促销,得提前半年就开始准备了。而且,这些资源促销之后就只能闲置了。

5.0V:

问题1:腾讯云储备了海量的机位资源和出口资源,5.0V将这些资源完全扁平化管理,用户在前台页面点点鼠标,就可以拿来使用了。同时,虽然资源是多个用户共享的,但是5.0V保证用户之间的安全隔离和质量保证。而且,这些资源只是借用,不用了还可以退。

问题2:5.0V以NFV的形态实现这些L4-7层服务,并支持横向扩容。用户需要扩容时,不需要采购新的硬件设备,点点鼠标,5.0V会自动化的新增服务器,安装上相应的软件,并完成部署。

问题3:5.0V可以将腾讯遍布全世界的DCI网络有机的调度起来。用户在城市A的5.0V机房和城市B的自有机房新建专线时,只需要从城市B的自有机房拉一条专线到腾讯在城市B的接入点即可。其他的工作,交给5.0V吧。

案例3:IP的灵活部署和快速上下线

container技术和serverless架构和的流行,要求IP节点可以快速灵活的在网络的任意节点上进行部署和释放。

传统架构下,每新增一个container的IP,需要网工手工使用CLI在设备上配置;同时,因为受广播域大小的限制,该IP网段的使用范围受限,无法在IDC中所有的服务器上部署和迁移。

5.0V提供对外的API进行IP的部署,用户的管理平台需要部署container时,直接调用5.0V的API,就可以灵活的部署container的网络。同时,5.0V使用overlay技术,将IP和IDC内的物理机架位置解耦,container可以在IDC内的任意服务器上部署和迁移。

5.0V的实现与技术突破

接下来的部分是技术秀,对网络技术名词不明觉厉的同学请略过,直接拉到最后一章:

控制平面:分层的编排系统架构

  • Network Orchestrator负责网络业务编排,NFV Controller负责NFV设备控制,Fabric Controller负责交换机控制。组件间访问均为腾讯根据自营业务,以及私有云用户需求场景定义的标准化的网络对象和API。
  • 标准化Fabric 控制器的对象模型和接口,只要是遵循腾讯规范的Fabric 控制器都可以在腾讯网络部署。由此,将交换机选型与网络业务编排解耦,不同供应商的交换机,只需要进行控制器北向API开发,既可以接入5.0V。
  • 标准化NFV控制器的对象模型和接口,NFV控制器通过Plugin方式,具备支持多厂商NFV设备的能力。NFV设备只需要支持业界标准的北向接口,就可以与NFV控制器即插即用。
  • L2-L3层网络服务(交换机)和L4-L7网络服务(NFV)独立演进和发展,可以兼容不同供应商产品,构建良好生态。

转发平面:在标准BGP-EV**的分布式网关方案基础上的大幅优化

  • 控制器只负责业务下发,不负责转发表项的计算。转发表项的计算使用成熟度高的标准BGP-EV**协议完成。
  • 使用IBGP+高性能RR的方式,进行overlay路由的计算,与Underlay路由的计算解耦。
  • 在标准协议和商用方案的基础上做减法,降低协议开销:

- 纯L3的overlay转发,规避大二层的BUM问题 。

- 优化转发芯片表项资源,简化控制平面处理。

- EV**协议优化,降低协议开销,增加稳定性。

  • 在标准协议的基础上,针对性的增加定制化特性,优化网络稳定性和HA能力:

- 单模块网络规模可以达到转发芯片能力上限。

- 网络任意节点/链路故障,100ms级别的中断 恢复时间。

丰富的网络增值服务

  • 5.0V的业务编排层使用模块化架构,可以接入各种类型,不同主体提供的网络增值服务,包括网平提供的服务器安装部署、TGW提供的Internet出口和LB服务,云平台提供的云服务,5.0V自身具备的L4-L7层服务。每个服务都可按模块横向扩展。
  • 5.0V网络架构的业务驱动,与所有这些增值服务的业务驱动,统一编排,但是独立执行;业务下发层级实现关联,但是技术实现解耦。简单来说,就是各种增值业务,只需要与5.0V的NO对接,不需要修改原有的业务实现方式,就可以SDN的方式进行业务部署和运维。
  • 资源共享和独占灵活控制,所有服务都可以实现多用户按需共享服务资源,由控制平面统一调度,也可以按照用户需求独占资源,并灵活弹性的控制规模。

价值与展望

5.0V并不是一个传统意义上只涉及交换机的数据中心网络架构,而是涵盖了交换机、NFV设备、云服务、云间互联能力的一体化的SDN解决方案。控制平面的SDN赋予她敏捷和弹性;转发层面的硬件选择和协议优化,赋予她高性能和高可靠性;分层编排的系统架构,赋予她多样的服务能力和良好的生态。

5.0V已经成功的在腾讯云黑石项目投入运营,并逐渐走向成熟,她以Infrastructure As Code的方式整合了腾讯所有IDC网络节点,并为上层的网络服务搭建了一个弹性敏捷的网络支撑平台。将腾讯的数据中心网络架构正式带入了SDN的时代。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-02-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 鹅厂网事 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档