虚拟化数据中心规划与设计

在以虚拟化为基础的大规模云计算数据中心，计算资源可以统一抽象出来形成整个计算资源池，并以一定的粒度进行进一步的细化分配。虚拟化后的资源池对底层的硬件进行了屏蔽，消除了各种物理服务器的差异，以透明的方式为用户提供虚拟化资源的调度、供应、度量等功能。

虚拟化技术不仅消除大规模异构服务器的差异化，其形成的计算池可以具有超级的计算能力，一个云计算中心物理服务器达到数万台是一个很正常的规模。一台物理服务器上运行的虚拟机数量是动态变化的，当前一般是4~20，某些高密度的虚拟机可以达到100:1的虚拟比（即一台物理服务器上运行100个虚拟机），在CPU性能不断增强（主频提升、多核多路）、当前各种硬件虚拟化（CPU指令级虚拟化、内存虚拟化、桥片虚拟化、网卡虚拟化）的辅助下，物理服务器上运行的虚拟机数量会迅猛增加。一个大型数据中心中运行数十万个虚拟机是可预见的，当前的云服务数据中心在业务规划时，已经在考虑这些因素。

虚拟化服务器间网络设计

由于一个虚拟机上可能存在多个虚拟后的系统，系统之间通讯就需要通过网络，但和普通的物理系统间通过实体网络设备互联不同，虚拟系统的网络接口也是虚拟的，因此不能直接通过实体网络设备互联。

目前流行的一种解决方案是vSwitch技术。vSwitch作为最早出现的一种的网络虚拟化技术，已经在Linux Bridge、VMWare vSwitch等软件产品中实现。所谓的vSwitch，就是VEB技术，即将虚拟网桥完全在服务器硬件上实现，不涉及外部交换机的协作。

参考虚拟机的实现方式，将网络设备也虚拟化，并绑定在虚拟机中，这样虚拟机上的网络接口可以不需要经过实体网络，直接在虚拟机内部通过虚拟交换机等虚拟的网络设备进行互联。

跟普通服务器设备一样，每个虚拟机有着自己的虚拟网卡（virtual NIC），每个virtual NIC有着自己的MAC地址和IP地址。vSwitch（virtual Switch）相当于一个虚拟的二层交换机，该交换机连接虚拟网卡和物理网卡，将虚拟机上的数据报文从物理网口转发出去。根据需要，vSwitch还可以支持二层转发、安全控制、端口镜像等功能。

在数据中心接入层部署支持EVB国际标准的数据中心交换机，与服务器端虚拟化软件联动即可支持将流量上引至交换机上。

通过VEPA（virtual ethernet port aggregator）和VSI发现功能，将VM的流量统统转移到交换机上来进行传输，可以实现基于VM的流量控制。例如，网络管理员可以应用安全策略阻断某个VM和其他VM的通讯，或者控制该VM只能和某些指定的VM通讯。

虚拟机动态迁移网络设计

虚拟机动态迁移技术主要是为了满足虚拟机容错功能的一种解决方案。一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移，迁移至另一中心的虚拟机不仅保留原有IP地址，而且还保持迁移前的运行状态（如TCP会话状态），所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络（虚拟机在迁移前后的网关不变），这种应用场景要求构建跨中心的二层互联网络。

在VMotion过程中，选择好目的物理服务器后，启动迁移流程，VMWare 虚拟系统将处于工作运行中的虚拟机（VM）的实时状态，包括内存、寄存器状态等信息同步拷贝到目的VM，并激活目的VM从而完成迁移。VMotion过程对于网络设计本无特殊要求，但迁移的范围要求网络二层连通，即源VM与目的VM在同一VLAN内，这就要求VM虚拟化应用所在的网络是一个二层网络。

传统虚拟路由器冗余协议（MSTP）的二层设计在小范围网络环境也基本满足VMotion的应用要求，但是随着VM二层域规模的不断扩大，现在有些医院甚至要建数据中心范围内的二层网络，如果采用MSTP+多生成树协议（VRRP）构建数据中心网络，不论是前期规划还是建成后的运营都会极其复杂。

引入虚拟化设计方式之后，在不改变传统设计的网络物理拓扑、保证现有布线方式的前提下，以VSU的技术实现网络各层的横向整合，即将交换网络每一层的两台、多台物理设备使用IRF技术形成一个统一的交换架构，减少了逻辑的设备数量。

在虚拟化整合过程中，被整合设备的互联电缆成为VSU的内部互联电缆，对虚拟网络（virtual switching unit，VSV）系统外部就不可见了，原来的两台设备之间的捆绑互联端口因归属的VLAN三层接口网段均能被其他设备可达（如ping通），而归属到VSU系统内部后，不对互联电缆接口进行IP配置，因此隔离于VSU外部网络。

虚拟化整合后的VSU系统，对外表现为单台物理设备，因此，在保持基本网络互联条件下，可将一对VSU系统之间的多条线缆进行链路捆绑聚合动作，从而将不同网络层之间的网状互联简化成单条逻辑链路。

VSU组网条件下，对整个网络的配置管理情况就发生了很大变化：原来的多台物理设备现在成为一台逻辑设备，其中的所有VSU成员可以统一管理配置, 因为也只有一个管理IP,不需要登录到不同设备去各自管理运维了，可以直接对所有端口、VLAN等特性进行配置。

对于接入层设备来说，以Top of Rack接入为例：一般使用两台接入交换机对同类业务系统服务器进行接入，以满足服务器双网卡的上行要求。使用VSU进行网络简化时，对网络汇聚层或服务器网关层的虚拟化整合是必要的，因为这是消除生成树和VRRP的关键网络层。

对于服务器而言，上行到VSU系统的所有网卡如同接入一台交换机，可满足各种工作模式，特别是服务器的双网卡捆绑方式。除了支持网卡主备模式，对于网卡需要捆绑（LACP 功能）的业务要求，由于VSU本身可支持跨设备的链路聚合，因此服务器多网卡，上行到一个VSU系统的不同交换机均可实现捆绑，实现网卡吞吐带宽增强和提升可靠性。

服务器后端虚拟化整合设计

网络是数据中心的数据交换枢纽，可以分为IP数据网络、存储网络、服务器集群网络等。其中IP数据网络被称为前端网络，存储网络通常被称为后端网络。随着数据中心规模的逐步增大，后端网络会变得复杂和难以管理。在大型的数据中心，服务器后端虚拟化整合正在成为设计的关注点。

（一）FCoE介绍

服务器后端虚拟化（FCoE）（FC over Ethernet）采用增强型以太网作为物理网络传输架构，能够提供标准的光纤通道有效内容载荷，避免了TCP/IP协议开销，而且FCoE能够像标准的光纤通道那样为上层软件层提供服务。

FCoE可以提供多种光纤通道服务，而且这些服务都可以像标准的光纤通道那样运作。不过，由于FCoE不使用TCP/IP协议，因此FCoE数据传输不能使用IP网络。FCoE是专门为低延迟性、高性能、二层数据中心网络所设计的网络协议。

和标准的光纤通道FC一样，FCoE协议也要求底层的物理传输是无损失的。因此，国际标准化组织已经开发了针对以太网标准的扩展协议族，尤其是针对无损10Gb以太网的速度和数据中心架构。这些扩展协议族可以进行所有类型的传输。这些针对以太网标准的扩展协议族被国际标准组织称为“融合型增强以太网（CEE）”。

数据中心FCoE技术实现在以太网架构上映射FC（fibre channel）帧，使得FC运行在一个无损的数据中心以太网络上。FCoE技术有以下的一些优点：光纤存储和以太网共享同一个端口；更少的线缆和适配器；软件配置I/O；与现有的SAN环境可以互操作。

基于FCoE技术的数据中心统一I/O能够实现用少数的CNA （converged network adapter）代替数量较多的NIC、HBA、HCA，所有的流量通过CNA万兆以太网传输。

（二）FCoE优势

虚拟机在数据中心越来越多的应用，原来可能有IP通信需求，也有存储通信的需求，不见得每个服务器上都有CNA网卡，通过FCoE技术，不管虚拟机迁移到哪里都可以非常灵活实现跟后台备份、存储的通信，实现虚拟机在迁移时候不会有物理服务器规格的限制，不管有没有光纤网卡。

从管理角度也一样，由于是集成平台，在有存储端口时候可以把存储端口纳入到存储网络管理工具里进行管理，在IP端口，可以利用它对原来的IP端口进行管理，不管哪方面的管理人员都不会觉得是新设备就不能管理了，原来的端口都可以进行管理。

（三）应用设计

医院的数据中心网络虚拟化可以采用如下步骤进行设计。

1. 服务器增加后端存储连接网卡，实现存储与业务IP分离。

2. 将服务器后端接入交换机改造成FCoE交换机，并使FCoE交换机支持FC模块，可以与用户原有的FC交换机对接互联互通，保护原有投资，经过改造后，数据中心网卡和布线数量成本已开始降低、服务器端呈现绿色节能效果。

3. IP与存储完全融合，可以采用新一代FCoE磁盘阵列直接连接到以太网交换机上，数据中心网络全面支持CEE增强以太网，全面实现数据中心成本降低。