数据中心网络发展之流金岁月

最近在某四大行做网络可视化运维平台建设，有幸接触到该行正在进行云数据中心SDN网络架构的规划和投产，正好借此机会做了点功课跟大家一起分享，近些年银行数据中心网络的发展历程和建设阶段。

由于我非网工出身，知识和资历有限，理解难免有误，大家将就着看看就好。本系列将分为三部分来展开，首先来看下本期关键点

网络架构三部曲

“读史可以使人明智，鉴以往可以知未来，历史的演变过程，向来不是偶然的，齿轮下主线构造的巧合，在命运勾勒下却是必然的结局。”

——BBC《世界史》

时势造英雄，英雄推动着时代的发展，每一个时期所诞生的英雄都是前期历史的铺垫，厚薄激发下推进历史的发展，近些年来数据中心网络架构的变迁，几乎都来源于互联网的迅猛发展，包括最新的SDN网络架构中应用到的许多基础原理在2003年已形成协议标准，但由于缺乏需求的刺激未被广泛应用，今天很多新兴技术和热门概念都是站在巨人的肩膀上进行相关改进，把前人从0-1的智慧积累，经过后人的论证和改良使之变成了从1到N逐渐走进我们的生活。

在展开之前首先明确我们接触到的数据中心网络其实就是一个局域网，包含了有数据网络和存储网络两大块，存储网络主要是FC技术，现在出现了IP SAN，属于基于以太网IP转发的存储，整体上来讲存储网络的技术发展并不快，花样也不多，以至于到现在很少成为讨论的热点，我们接下来重点讨论的属于计算网络。

如果把数据中心网络架构划分时代的话：

我们可以把2008年以前的数据中心网络架构可以称为三层网络架构的“流金岁月”；

2008年到2012年之间可以称为“诸王纷争”，因为在这个时期国内外各个厂商争相为数据中心推出了各具特色的应用技术和解决方案；

而2012年以后我们可以称为“无限之战”，因为这个时期出现了2个典型特征：盒子的标准化及性能可无边界扩展；

而这三个时代最典型的技术分别是传统路由交换技术、虚拟化技术和SDN，在我们分别来看每个时代的特点和涉及到的相关概念之前，我想带着大家一起回顾下当今网络的灵魂基石OSI 7层网络参考模型和TCP/IP 4层协议族模型的概念。

网络架构根基

“宇宙之大，粒子之微，火箭之速，化工之巧，地球之变，生物之谜，日用之繁，无处不用数学。”

——华罗庚

谈数据中心计算网络，始终绕不开的根基，OSI 7层网络参考模型和TCP/IP 4层协议族模型，至于这两者的相关名词科普网上有很多专业的文章我就不过多的赘述了。先说OSI 7层模型架构，我这里附上一张图片，大家可以简单的了解下每层的相关能力，如下图：

看到了那么多专业的描述，在缺乏实际应用时，我们很难去理解OSI 7层模型真实的应用场景，那我试图通过一个温州商人去罗马做生意的比喻来生动形象的讲一下OSI7层模型帮助大家来理解：

1. 温州商人要想在罗马贸易获得成功，首先要有至少一条路，能够从温州通向罗马，这就是【物理层】

2. 有了路是不是就能去贸易了？还要保证路上不会把温州商人的货物给磕坏了，别被人给劫持，要有一层保护的包装，这就是【数据链路层】

3. 所谓条条道路通罗马。并不只有一条路能够到达罗马，那么在那么多的选择中选一条最短的，或者路费的成本最少的，这才符合温州商人的利益。这就是【网络层】

4. 贸易出门前要先检查一下自己的货，有没有拿错了，事先要检查过，如果错了要重新取货，这就是【传输层】

5. 在出发前温州商人需要和罗马联系好， 如果我们这边的货物到了那边卖不出去怎么办？我们首先要交流、协商一下，看看罗马的市场情况，能和那边的另外一个商人合作的话就更好了，这就需要一些外交的关系，这就是【会话层】

6. 好象所有的事情都准备好了，但是温州商人到了罗马以后突然发现，他的商队里没有人能听懂罗马人的话，罗马人也没有人能听懂温州话，这个时候，还需要一个翻译，要么把两种语言都转换成一种国际通用语言，比如说英语，要么至少能让双方能交流，这就是【表示层】

7. 到了罗马了，最终需要在交易所中把商品卖掉，这个交易所就是一个交易平台，相当类似于淘宝的软件平台，这就是【应用层】

OSI模型，本质上来讲，是一种通信协议的7层抽象的参考模型，其中每一层执行某一特定任务。该模型的目的是使各种硬件在相同的层次上相互通信属于网络数据传输的一个规范模型，而我们所熟悉的TCP/IP协议，并不是TCP和IP这两个协议的合称，而是指因特网整个TCP/IP协议族，是属于在参考OSI 模型之后在互联网中的实际应用模型，TCP/IP 4层协议模型将OSI模型进行了相应的简化，将其会话层、表示层和应用层统一合并到了应用层，我们来看下他们之间的对应关系以及每一层落实到我们真实网络环境所对应的网络设备，如下图:

由于TCP/IP协议在互联网中得到了广泛的应用，于是就产生了很多与之相符配合的其它协议，逐渐扩展壮大形成一个完整的生态协议族，如下图：

在网络的长期发展过程中，IP逐渐取代其他网络协议，是因为在网络中通过IP传输通用数据能够用于任何目的，并且能够很轻易地取代以前由专有数据网络传输的数据。现如今，大多数商业操作系统包括TCP/IP栈并且缺省安装它们，对于大多数用户来说，没有必要去探求它们如何实现。TCP/IP包含在所有的商业Unix和Linux发布包中，同样也包含在Mac OS X和Windows版本中。所以不难看出，TCP/IP已经是当今网络发展的灵魂基石。

下面我们来一起了解下数据中心在使用OSI模型和TCP/IP协议族中的架构演进和技术变迁。

重温经典-流金岁月

“这是最好的时代,也是最坏的时代; 这是智慧的年代,也是愚蠢的年代; 这是光明的季节,也是黑暗的季节;这是希望之春，这是失望之冬；人们面前应有尽有，人们面前一无所有；人们正踏上天堂之路，人们正走向地狱之门；”

——狄更斯《双城记》

在2008年以前国内外互联网的发展还处在那个吃土的门户时代，主要上网就是看新闻刷论坛顺便撩下QQ，那时候一个数据中心所容纳的服务器规模通常在上百台左右，计算网络主要由大量的L2接入设备与少量的L3设备组成的网络结构，属于是标准的（接入-汇聚-核心）三层架构，分别为：

1.接入层：用于连接所有的计算节点，在数据中心中，通常以柜顶交换机的形式存在；

2.汇聚层：用于接入层的互联，并作为该汇聚区域二三层的边界，同时各种防火墙、负载均衡等业务也部署于此；

3.核心层：用于汇聚层的的互联，并实现整个数据中心与外部网络的三层通信；

在这种传统的三层网络架构下，数据中心里广泛存在生成树协议（STP），服务器基本都物理主机，当时大多数数据中心里一个服务器就是一个应用，属于典型的竖井式数据中心，它们按照功能不同被放置在固定的功能区中，一个数据中心里可能有几个到十几个类似互联网接入区、外联接入区、广域网接入区、生产内网区、办公网区、运管区等功能区，其交换层的传输速率在10 Mbps~100 Mbps范围内，存储区域网络的传输速率则为2 Gbps~4 Gbps。铜缆布线是三层网络结构的主要布线方式，其铜缆使用率达到了80%，光缆只占20%，如下图：

但随着互联网的蓬勃发展，整个数据中心的数据量的开始爆发式增长，在采购大量的物理服务器之后，数据中心运营者发现的服务器还是不够用，当时VMware最早做出反应带来了服务器层面的虚拟化，伴随虚拟化趋势越来越强，“提高服务器利用率”，“充分发挥计算资源效能”，成了当时最常听到的声音。

但是伴随服务器逐步虚拟化，解决了服务器利用率的问题，可随之而来的却是改变了服务器与网络的关系，打破了原来网络和操作系统之间的紧耦合关系，使之变成了松耦合的关系，网络不再能直接感知到操作系统的流量变化了。而这种对应关系上的变化又带来了两个层面的矛盾：

1.性能层面，单台物理机上的应用多了，或者说是虚拟机多了，单个网口上承载的数据流量大了，原来的铜缆链路流量不够用了；

2.功能层面，物理服务器不是真正的业务所在了，真正的业务在虚拟机上，但是虚拟机要在服务器上漂移，不能够被固定在原先一个区域当中了；

当时为了解决性能层面上的问题，数据中心开始对网络基础布线进行升级改造，2008年前后EoR（在EoR网络结构中，每个机柜组（POD）中的两排机柜的最边端摆放2个网络机柜，机柜组（POD）中所有的服务器机柜安装配线架，配线架上的铜缆延伸到POD最边端网络机柜，网络机柜中安装接入交换机）和MoR（MoR网络结构是对EoR网络结构的改进。MOR方式的网络机柜部署在POD的两排机柜的中部，由此可以减少从服务器机柜到网络机柜的线缆距离，这样简化线缆管理维护工作）被认为是取代传统三层网络结构的理想解决方案，如下图：

数据中心通过使用EoR和MoR方案对基础布线的改造升级这样做虽然把交换层传输速率达到了1000 Mbps，而存储区域网络的传输速率则达到了8 Gbps解决了网络性能层面的问题，但是由于网络交换层已经无法感知到单个虚拟机上的流量，这就导致一个更要命后果是无法在故障发生时进行故障排查，而就在此时，进击的巨人Cisco推出Nexus交换机及相关技术正是解决了数据中心当时面临的难题，同时也带了网络架构的革新。而那一年正好是2008年，伴随着北京奥运会熊熊燃烧的火焰，Cisco的“数据中心服务器虚拟化解决方案”也烧掉了经典三层网络架构最后的光辉，并且带了《诸王的纷争》，敬请期待第二章。