前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >超大规模数据中心网络

超大规模数据中心网络

作者头像
SDNLAB
发布2018-04-02 15:52:01
1.7K0
发布2018-04-02 15:52:01
举报
文章被收录于专栏:SDNLAB

一、计算模式的演进 图 1 计算模式的演进

计算纪年:

1、大型机时代:20世纪60~70年代,计算机体积大、价格高,支持成百上千用户同时操作。

2、个人电脑时代:20世纪80~90年代,计算机体积小、价格低,只支持单个用户同时操作。

3、移动时代:21世纪00~10年代,终端设备搭载移动操作系统,用户随时随地可用。

4、泛在时代:21世纪20年代及以后,计算无处不在,无所不包,典型代表:云计算。

二、云计算应用场景及特征 图 2 云计算

应用场景:

1、支持动态组织和业务系统的应用:

典型代表:移动办公。

2、提供集中管理和集成共享的应用:

典型代表:桌面管理。

3、基于网络渠道和面向服务的应用:

典型代表:电子商务。

4、需要大数据计算和存储能力的应用:

典型代表:搜索服务。

特征:经济性、灵活性、共享性、可靠性、可扩展性。

三、云计算数据中心网络需求 图 3 云计算数据中心网络

云计算的主要载体是数据中心。数据中心云化对网络提出了新需求:

1、超大规模,平滑扩展:支持数万甚至更高量级的服务器接入。

2、虚机动态迁移:虚机可在不同物理机之间漂移。

3、交换无阻塞,转发低时延:网络流量以东西向为主,南北向为辅。

4、多租户:不同租户网络物理共享,逻辑隔离。

5、低成本,高扩展:采用普通商用组件作横向扩展。

6、网络灵活性:可动态调整拓扑、负载。

7、高效的网络协议:根据数据中心结构和流量特点设计网络协议。

但是在传统数据中心网络中难以满足上述需求。

四、数据中心软件定义网络 图 4 SDN网络架构

为了应对云计算的冲击,数据中心网络需要SDN化。SDN的价值主要体现在网络即服务。

SDN的本质在于抽象网络控制,包括转发抽象(网络模型)、状态分步抽象(全局网络视图)与规格抽象(抽象网络视图)。SDN的特征有控制与转发分离、开放的编程接口与集中化的网络控制。

五、基于Overlay的SDN解决方案 图 5 Overlay网络

基于Overlay的SDN解决方案存在如下优势:

1、复用传统网络基础设施,设备复用;

2、突破传统网络中虚拟网络数量限制;

3、虚拟网络拓扑与物理网络基础设施解耦;

4、支持VM动态迁移;

5、多租户支持,网络资源可复用且相互隔离不干扰;

6、虚拟网络多路径转发;

7、轻松实现业务编排。

但是云计算对数据中心网络的挑战依然存在。

六、挑战依然存在

1、网络故障定位: 图 6 网络故障定位

一旦网络出现异常,难以快速界定到底是上层网络、下层网络还是服务器的问题。往往需要虚拟网络、服务器、物理网络运维团队三方协同。解决问题难度大,耗时长,代价大。

2、物理网络部署:

图 7 物理网络部署

物理网络设备部署流程通常包括:网络设备上架加电、设备配置、调试网络连通性、添加网管、设备信息登记。网络设备配置复杂,人工操作易错,部署速度缓慢。

3、物理网络构建: 图 8 Core-Spine-Leaf无阻塞网络

以Core-Spine-Leaf无阻塞网络为例,Spine与Leaf采取CLOS组网方式构成POD,Core与POD也采取CLOS组网方式,其中Leaf交换设备选用华为的CE68系列,Core与Spine交换设备选用华为的CE128系列。受限于网络交换设备路由负载分担最大链路数64,任一Spine最多连接64个Core,任一Core最多连接64个Spine,则无阻塞网络最大提供16384端口的接入规模,网络交换设备成本支出在27M$左右。网络规模小,设备品牌锁定,Scale-up模式,构建成本高。

4、网络流量均衡:

图 9 网络流量均衡

常用的网络流量均衡技术有TRILL、BGP与静态路由等,都属于Local ECMP(等价多路径),无法动态调整,实际网络带宽利用率一般在40~80%。全局网络流量不均,局部容易拥塞,网络带宽利用率低。

5、网络转发性能: 图 10 VXLAN通信 图 11 VXLAN封装

虚拟网络通过隧道穿越物理网络,报文转发需要额外封装。以VXLAN(MAC in UDP)为例,每个以太帧至少增加50B封装开销,其它隧道协议大同小异。服务器网口线速10G,虚拟交换机吞吐量不及50%。服务器吞吐量低下,网络带宽浪费严重。

七、Heatsink网络架构

网络连接方式:

1、Spine与Leaf采取CLOS组网方式构成Fin;

2、Fin间彼此相连,由Spine间连接方式不同而产生两种变形。

图 12 粗放型Heatsink网络

粗放型网络Spine在Group内相连,以提升网络接入规模,适用于超大规模数据中心网络。

图 13 集约型Heatsink网络

集约型网络Spine在Group外相连,以提升网络设备利用率,适用于小、中、大规模数据中心网络。

八、Heatsink网络控制系统

图 14 Heatsink网络控制系统

1、全栈式控制:物理与虚拟网络设备统一控制管理。

2、控制器(Open Network Controller,ONC):

1)部署分散,控制集中;

2)南向屏蔽网络设备差异(OpenFlow/OVSDB/…);

3)北向提供控制抽象(Rest API/…);

4)网络操作系统,通过服务对外提供网络功能和接口。 九、 Heatsink网络部署 图 15 Spine Block

1、白盒交换机选型:

Spine:32×40GbE;

Leaf:48×10GbE + 4×40GbE。

2、Spine Block:

目前市面流通的40GbE白盒交换设备端口密度普遍偏低,通过Spine之间CLOS相连,多Spine拟合逻辑Spine,可以提升端口密度。

将Spine Block模拟的逻辑Spine代入Heatsink网络可以获得如下表所示的各种网络规模:

表 1 Heatsink网络规模

十、Heatsink网络路由方式

1、共Fin选路:

图 16 Heatsink网络共Fin选路

转发路径:源Leaf → Spine → 目的Leaf。路由选路即选择Group的过程。

2、跨Fin选路:

1)粗放型:

图 17 粗放型Heatsink网络跨Fin选路

转发路径:源Leaf → 源Spine → 中转Spine → 目的Spine → 目的Leaf。路由选路即选择Group与中转Spine的过程。中转Spine所属Group与选定Group相同。

2)集约型: 图 18 集约型Heatsink网络跨Fin选路

转发路径:源Leaf → 源Spine → 中转Spine → 目的Spine → 目的Leaf。路由选路即选择Group与中转Spine的过程。中转Spine所属Group与选定Group不同。

十一、Heatsink网络寻址方式

1、网络分区:

1)核心区:

白牌、盒式物理交换机。

2)边缘区:

虚拟交换机。

2、控制策略:

核心简单、鲁棒;边缘复杂、智能。

3、源标签路由:

控制器统一派发交换机标签,边缘交换机封装标签路径,核心交换机按路标寻址。 图 19 Fin内通信

图 20 Fin间通信

十二、Heatsink网络路径封装

图 21 VLAN + Src MAC封装

1、VLAN:

1)以VID标识报文剩余跳数,每跳递减,降至0时,剔除VLAN头;

2)共Fin通信,VID初始值取3;跨Fin通信,VID初始值取5。

2、Src MAC:

针对当前交换设备,指示报文下一跳,各字段填充不同Heatsink属性,掩码匹配可分别提取。

十三、演示

图 22 3D网络拓扑-Fin 图 23 3D网络拓扑-Spine层 图 24 2D网络拓扑 图 25 路径跟踪 图 26 端口信息统计

图 27 流表信息统计

十四、总结

1、网络构建:

1)Heatsink架构,采取多级CLOS组网,支持由小而大平滑扩展,公、私有云网络均适用;

2)选择白牌、盒式交换设备,Scale-out模式,避免品牌锁定,降低网络成本支出;

3)全网交换无阻塞,无单点故障,适应云计算数据中心流量模型由南北向转东西向的变化。

2、网络控制:

1)全栈式控制,物理与虚拟网络合一,设备即插即用,网络状态实时可见,运维难度低;

2)网络分区,核心简单、鲁棒,确保网络性能,边缘复杂、智能,确保业务灵活;

3)源标签路由,降低核心区物理交换设备流表消耗,解决物理交换设备流表容量不足的问题;

4)全网链路实时统计,端到端流量可控,基于流粒度实现全局流量均衡;

5)VLAN+Src MAC掩码匹配,封装开销小,节省网络带宽,提高服务器吞吐量、网络性能。

郑重申明PS:文章中举凡画得好看的图都是来自引用。本文是作者团队面向公、私有云构建数据中心网络的相关研究与实践,主要特点有超大规模网络、白盒交换设备、虚拟与物理网络设备统一管理等,Overlay网络解决方案的本质在于将传统数据中心网络SDN化,无可否认VXLAN/GRE等技术取得了一定的成功,尤其在兼容传统数据中心网络上,但是让本来已经很复杂的网络变得更加复杂了,自然也带来了大量的问题

我们认为Overlay只是数据中心网络SDN化进程中不可避免的一环,不过Singlelay才是SDN网络的终极,我们团队始终以推动SDN在云领域的商业化进程为目标

一些浅显的观点,与大家分享,欢迎拍砖,有任何问题可以直接联系我,咱们共同切磋。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2016-03-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 SDNLAB 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档