专栏首页云计算与大数据BGP in the Data Center

BGP in the Data Center

摘自:https://arthurchiao.art/blog/bgp-in-data-center-zh/#chap_1

BGP(Border Gateway Protocol):边界网关协议

  1. 现代数据中心网络设计的目标是什么?
  2. 这些目标与其他网络(例如企业网和园区网,enterprise and campus)的设计目标有什么不同?
  3. 数据中心为什么选择 BGP 作为路由协议?

核心需求:

  1. 服务器到服务器通信越来越多(Increased server-to-server communication) 单体应用到微服务化的转变,导致南北向流量减少,东西向流量增加。
  2. 规模(Scale) 过去,几百台服务器就已经是一个大数据中心;现在,现代数据中心一个机 房可能就有上万台服务器。
  3. 弹性(Resilience) 老式数据中心的设计都是假设网络是可靠的,而现代数据中心应用都是假设网络 是不可靠的 —— 总会由于各种原因导致网络或机器故障。弹性就是要保证发生故障时 ,受影响的范围可控,尽量做到不影响用户体验。

多租户网络需要额外考虑:支持虚拟网络的快速部署和拆除(rapid deployment and teardown)。

传统网络设计的扩展方式:scale-in(垂直扩展),即通过更换性能更高的设备实现。缺点:

  1. 高性能设备特别贵
  2. 这些设备大部分都是两方冗余(two-way redundancy),存在同时挂掉的风险,可用性 不是足够高
  3. 发生故障时,故障范围特别大(尤其是核心设备)

1.2 Clos 网络拓扑

大型互联网公司最后采用了一种称为 Clos 的架构。Clos 架构最初是贝尔实验室的 Charles Clos 在 1950s 为电话交换网设计的。

可以实现无阻塞架构(non-blocking architecture):上下行带宽都充分利用。

图 1-1 简单的两级(two-tier) Clos 网络

特点:

  1. 连接的一致性(uniformity of connectivity):任意两个服务器之间都是 3 跳
  2. 节点都是同构的(homogeneous):服务器都是对等的,交换机/路由器也是
  3. 全连接(full-mesh):故障时影响面小(gracefully with failures);总带宽高 ,而且方便扩展,总带宽只受限于 Spine 的接口数量

注意,在以上模型中,Spine 仅仅用于连接 Leaf,因此在这种模型中,所有的功能( functionality)都集中在 Leaf 上。

扩展方式:scale-out(水平扩展)。

最大服务器数量(无阻塞架构下):n * m / 2,其中 n 是一个 Leaf 节点的端口 数量,m 是一个 Spine 节点的端口数量。

典型带宽,分为接入(leaf-server)和互连(leaf-spine):

  • 接入 10G,互连 40G
  • 接入 25G,互连 100G

受电源限制,单个机柜最大不超过 40 台服务器。

三级 Clos 网络

图 1-2 三级(three-tier) Clos 网络

一组 ToR 和 Leaf 组成一个二级 Clos,称为一个 pod 或 cluster;pod/cluster 作为一个独立单元再和 Spine 组成一个二级 Clos。

最大服务器数量:n * n * n /4,其中 n 是交换机端口数量。

Clos 架构的魅力:无论从哪一级看,每个组成部分都是类似的,可以方便地替换和扩容。

为了解决规模瓶颈,大型互联网公司甚至会考虑 4 级甚至 6 级 Clos 架构。

Clos 网络的副作用

由于 Spine 和 Leaf 之间是 full-mesh,网线会特别多,排线会复杂一些。

设备故障影响面比较小,排障和更换设备方便(resilience)。

设备都是对等的,管理比较方便。

1.3 Clos Network 网络架构

传统网络架构中,接入层和汇聚层走二层交换,因此需要运行 STP 协议消除二层环路。如果在 Clos 网络中交换机也走二层,那可用(active)链路就会大大减少,如图 1-3 所 示:

图 1-3 启用 STP 之后的网络连接

如果有链路发生故障,那可用链路的效率会更低:

图 1-4 启用 STP 并且一条链路发生故障之后的网络连接

由此可见,走二层会导致非常低效和不均匀的连接(highly inefficient and nonuniform connectivity)。

而另一方面,如果走三层路由,那就可以充分利用 Spine 和 Leaf 之间的 full-mesh 连接。而且路由还可以判断最短路径,或者为了达到更高整体利用率设置特定的路径。

因此,第一个结论:对于 Spine-Leaf 网络,路由(三层)比交换(二层)更合适。通 过二层连接的网络称为桥接网络(bridged network);通过路由连接的网络称为路 由网络(routed network)。

使用路由的另一个好处是,避免了各种厂商相关的 STP 优化方案(将多条物理链路聚合成 一条虚拟链路提高利用率)。

典型的传统桥接网络需要运行:

  1. STP
  2. 一个单向链路检测协议(虽然现在已经合并到 STP 了)
  3. 一个 VLAN 分发协议
  4. 一个 first-hop 路由协议,例如 HSRP(Host Standby Routing Protocol) 或 VRRP(Virtual Router Redundancy Protocol)
  5. 一个路由协议,用于连接多个桥接网络
  6. 一个独立的单向链路检测协议,用于走路由的链路(routed links)

如果是路由网络,那只需要:

  1. 一个路由协议(例如 BGP)
  2. 一个单向链路检测协议

和服务器直连的路由器(leaf)会充当 anycast gateway(也可以称为分布式网关), 此外就不需要其他协议了。

以上,就是 Clos 网络如何实现高度可扩展和弹性伸缩的。

1.4 服务器接入模型(Server Attach Model)

  • 单接入(single-attach)
  • 双接入(dual-attach)

大型互联网公司采用单接入方式(single-attach servers),即,每个服务器只连接 到单个置顶交换机。这种设计背后的逻辑是:服务器数量足够多,由于网络问题导致单个机 柜挂掉时,影响不是很大。

但是对于小型网络,乃至部分大型公司的网络,挂掉一个机柜带来的影响是不能接受的。因此这些公司采用双接入(dual-attach servers)方式:每个服务器连接到两个置顶 交换机。

双接入方式为了提高链路利用率,会将两个链路聚合成一个虚拟链路,这个技术是厂商相关 的,因此叫法不太一样:

  1. Cisco 叫 vPC(virtual Port Channel)
  2. Cumulus 叫 CLAG
  3. Arista 叫 MLAG(Multi-Chassis Link Aggregation Protocol)

这需要宿主机运行链路聚合控制协议(Link Aggreration Control Protocol, LACP) 以创建 bond 链路。如图 1-5 所示。

图 1-5 双接入方式下的链路聚合

1.5 连接到外部网络(Connectivity to the External World)

对于中型或大型网络,通过 border leaf 连接到外网。

主要好处:将数据中心的网络和外部网络隔开(isolate)。数据中心内的路由协议无需和 外部交互(interact),更加稳定和安全。

图 1-6 通过 border leaf 将一个 Clos 网络连接到外部网络

小型数据中心出于成本考虑,不会部署单独的 border leaf 节点,而是通过 Spine 连接到 外部网络,如图 1-7 所示。需要注意:这种方案中所有 Spine 都需要连接到外部网络,而 不是一部分 Spine。这非常重要,因为 Clos 网络中所有 Spine 都是对等的。

图 1-7 通过 spine 将一个 Clos 网络连接到外部网络

1.6 多租户(或 Cloud)支持

Clos 拓扑也适用于云计算网络,不管是公有云还是私有云。

云计算架构的额外需求:

  1. 敏捷性(Agility):能快速创建/删除虚拟网络
  2. 隔离性(Isolation):租户之间互相不可见
  3. 规模(Scale):能够支持大量的租户

1.7 现代数据中心设计的运维考虑

数据中心的设计会影响到数据中心的运维。

自动化是最基本的要求(Automation is nothing less than a requirement for basic survial)。在设计的时候要考虑能使自动化运维简单、可重复(simple and repeatable)。

1.8 选择路由协议(Choice of Routing Protocol)

对企业网(enterprise network),两种协议比较合适:

  1. OSPF(Open Shortest Path First)
  2. IS-IS(Intermediate System to Intermediate System)

它们都设计用于企业网内部,大部分企业网管理员对此应该很熟悉。

但是,OSPF 不支持多协议(例如对 IPv4 和 IPv6 需要运行两个独立协议),因此并没有 被大型互联网厂商采用。

IS-IS 支持 IPv4/IPv6,但是可选的实现比较少。而且,一些管理员认为,IS-IS 这样的链 路状态(link-state)协议不适用于 Clos 这样的富连接(richly connected)网络。

BGP 的特点:

  1. 成熟
  2. 支撑着互联网(powers the internet)
  3. 容易理解(fundamentally simple to understand),虽然名声可能不佳(despite its reputation)
  4. 实现很多,包括很多开源实现
  5. 支持多协议(例如 IPv4/IPv6,MPLS)和 VPN(内置)

只需对 BGP 做一些改造,就可以将它高效地应用中数据中心中。微软的 Azure 团队是最早 对 BGP 进行改造用于数据中心的。现在,我接触的大部分客户都是部署 BGP。

在下一章中,我们将看到人们对传统 BGP 进行了哪些改造,然后将它应用到数据中心的。

2 BGP 是如何适配到数据中心的

在 BGP 用于数据中心之前,它主要用于服务提供商网络(service provider network)。这导致的一个问题就是,数据中心不能运行 BGP,不然会和底层供应商的网络有冲突。如 果你是网络管理和运维人员,那意识到这一点非常重要。

不同网络场景:

  • 数据中心:高密度连接(dense connectivity)
  • 服务提供商(连接不同域):相对低密度连接(relatively sparse connectivity)

因此,服务提供商的网络首先是考虑可靠性(stability),其次才是(路由等)变化的快 速通知(rapid notification of changes)。因此,BGP 发送通知的实时性比较低。而在 数据中心中,管理员更希望路由更新(routing updates)越快越好。

另外,由于 BGP 自身的设计、行为,以及它作为路径矢量协议(path-verctor protocol) 的特性,单个链路挂掉会导致节点之间发送大量 BGP 消息。

第三个例子,BGP 从多个 ASN 收到一条 prefix(路由网段前缀)之后,最 终只会生成一条最优路径。而在数据中心中,我们希望生成多条路径。

为适配数据中心而对 BGP 进行的改造,见 FRC 7938。

本章描述这些改动,以及背后的考虑(rationale for the change)。这里再次强调,数 据中心使用的 BGP 和传统的 BGP 并不一样,如果不理解这一点,管理员很容易误操作造成 网络故障。

2.1 有几路由协议

传统 BGP 从 OSPF、IS-IS、EIGRP(Enhanced Interior Gateway Routing Protocol) 等 协议接收路由通告,这些称为内部路由协议(internal routing protocols),用于控制 企业内的路由。无怪乎很多人当时认为,要在数据中心中落地 BGP,还需要另一个协议。但实际上,在数据中心中 BGP 就是(特定的)内部路由协议,不需要再运行另一个协议 了。

2.2 iBGP 和 eBGP

数据中心内部是该使用内部网关协议(iBGP)还是外部网关协议(eBGP)?很多人觉得应 该是 iBGP,因为在数据中心内部,但其实不是。

数据中心中 eBPG 是使用最广泛的。原因;

  1. 主要原因是 eBGP 比 iBGP 更易理解和部署 iBGP 的最优路径选择算法很复杂,而且存在一些限制,使用、配置、管理复杂。
  2. eBGP 的实现比 iBGP 多,选择面比较大

2.3 ASN 编号

每个 BGP 节点都有一个 ASN(Autonomous System Number)。ASN 用于识别路由环境、 判断最优路径、关联路由策略等等。

ASN 有两个版本:老版用 2 个字节表示,新版用 4 个字节表示。

数据中心 BGP 中 ASN 的分配方式和公网 BGP ASN 的分配方式不同。

公网的 BGP 使用 well-known ASN,但数据中心中使用的一般都是私有 ASN,因为一般不需 要和公网做 peer。

私有 ASN

私有 ASN 和 私有网段类似。

但注意:如果管理员真要用公网 ASN,那也是没人能阻止的。有两个原因不建议这样做:

  • 造成管理的混乱,包括人和工具
  • 会将内网信息泄露到公网,造成极大的安全问题

私有 ASN 数量:

  1. 老版本(2 字节):大概 1023 个(64512~65534)
  2. 新版本(4 字节):大概 95 million(4200000000~4294967294)

Path Hunting 问题

有多种分配 ASN 的方式。

如果采用每个节点一个 ASN 的方案,那会存在一个 count-to-infinity 问题。简单说就是 :每个节点不知道其他节点的物理链路状态(physical link state),因此无法判断一条 路由是真的不通了(节点挂掉)还是通过其他路径还是可达的。

当一个节点挂到后,其他节点陆续撤回(withdraw)可达路由时,导致网络内大量的 BGP 消 息。这个问题称为 path hunting。

图 2-1 一个简单拓扑,解释 path hunting

ASN Numbering Model

为了避免 path hunting 问题,Clos 网络内的 ASN 编号模型如下:

  1. 每个 ToR 都有自己的 ASN
  2. pod 边缘的 leaf 有自己的 ASN,但同一个 pod 内的 leaf,共用同一个 ASN
  3. pod 之间的 spine,共享一个 ASN

图 2-2 是一个三级 Clos 的例子:

图 2-2 Clos 拓扑 ASN 编号模型示例

这种编号模型是如何解决 path hunting 问题的:以图 2-1 为例,如果 R2 和 R3 有 相同的 ASN,那 R1 收到 R2 的一条到 10.1.1.1 的消息后,再收到 R3 来的到 10.1.1.1 消息时(检测到有环路),就会拒绝后者。当 R4 挂掉时,消息回撤会很简单。

这种编号模型的缺点:无法做路由聚合或摘要(route aggregation or summarization )。还是拿图 2-1 为例,如果 R2 和 R3 通过直连的服务器总共收集到了 10.1.1.2/32 ~ 10.1.1.250/32 的可达消息。如果 R2 和 R3 做路由聚合,那只需要向 R1 通告一条 10.1.1.0/24 可达消息,而不用通告 250 次,每次一个 IP。在这种情况下,如果 R2-R4 链路挂了,那 R1 仍然认为 10.1.1.0/24 到 R4 仍然是可达的,因为可以通过 R1-R3-R4 ,但实际上有些 IP 是只能通过 R2-R4 才通的。也即路由聚合在这种情况下带来了问题。

本文分享自微信公众号 - 黑洞日志(heidcloud)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-08-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 「数据中心」数据中心脊页架构:数据中心结构管理、自动化和总结

    建立数据中心没有单一的方法。同样,没有单一的方法来管理数据中心结构。Cisco、第三方和开源社区提供了许多不同的工具,可用于监视、管理、自动化和排除数据中心结构...

    首席架构师智库
  • Calico BGP 功能介绍:实现

    Calico 作为一种常用的 Kubernetes 网络插件,使用 BGP 协议对各节点的容器网络进行路由交换。本文是《Calico BGP 功能介绍》系列的第...

    米开朗基杨
  • H3C 12508常用命令

      aaa                          Specify AAA configuration

    py3study
  • 思科CiscoLive-网络界的世界杯冠军

    Cisco Live provides awe-inspiring experiences that fuel your personal and profes...

    taoza
  • 【论文阅读】DeepJS: Job Scheduling Based on DRL in Cloud Data Center

    作者提出一种在矢量装箱问题下的,基于深度强化学习的,资源调度算法(原文称作业调度),该算法可自动获得合适的计算方法,该方法将最小化完成时间(最大化吞吐量),本文...

    SL_World
  • Facebook、谷歌、微软和亚马逊的网络架构揭秘

    ? 谈谈国外的互联网巨头的骨干网和边缘网络,领略其独特设计,其中 Facebook 和 Google 的网络主要是服务自身的产品和广大互联网用户,Amazo...

    腾讯技术工程官方号
  • On the Generalization Effects of Linear Transformations in Data Augmentation

    西西嘛呦
  • 腾讯自研交换机系统优化之路

    一、Tencent NOS概述 SONiC is an open source network operating system based on Linux...

    鹅厂网事
  • rp_filter详细介绍

    内核文档:https://www.kernel.org/doc/Documentation/networking/ip-sysctl.txt 搜其关键字,可见r...

    用户8418197
  • BP category 2 does not fit the data in category 1

    版权声明:署名,允许他人基于本文进行创作,且必须基于与原先许可协议相同的许可协议分发本文 (Creative Commons)

    Jerry Wang
  • 安全漏洞公告

    WordPress '/wp-admin/options-discussion.php'脚本跨站请求伪造漏洞 WordPress '/wp-admin/opt...

    安恒信息
  • What is IP Routing?

    IP Routing is an umbrella term for the set of protocols that determine the path...

    ke1th
  • OSPF ABR Type 3 LSA

    Feature Overview The OSPF ABR Type 3 LSA Filtering feature extends the ability o...

    py3study
  • SAP C4C OBN(Object Based Navigation)不能工作的原因分析

    I have created two OBN button in Service Request TI item table’s toolbar via ext...

    Jerry Wang
  • calico网络原理、组网方式和使用

    calico是一个比较有趣的虚拟网络解决方案,完全利用路由规则实现动态组网,通过BGP协议通告路由。

    domain0
  • Microsemi可编程PCIE Switch助力资源池化方案落地

    在去年的2018 ODCC峰会上,腾讯发布了T-Flex PCIE资源池化方案和产品,该产品由腾讯和浪潮联手设计制造。PCIE资源池化的关键的部件就是PCIE ...

    冬瓜哥
  • ip prefix-list命令详解和route-map

    To place it in service: router bgp 65011 neighbor 1.2.3.4 prefix-list test11 in

    刘銮奕
  • Segment Routing 在大规模数据中的应用(上)

    在写《BGP在大规模数据中心中的应用》里当时就有了讨论Segment Routing(SR)的想法,因为当时我还在参与MPLS+SR的白皮书测试,得到了不少真实...

    SDNLAB
  • BGP学习 总结3

    1 largest weight ( local orininated path :32768 other 0 )

    py3study

扫码关注云+社区

领取腾讯云代金券