大模型与AI技术揭秘 (19) 小学生的高数题

这天，小H看到一道小学数学题：

A和B两个人距离5000米，两个人相向而行，A每分钟走110米，B每分钟走90米。此时，A的一只小狗与A同时出发跑向B，每分钟跑300米，遇到B则回头跑向A，遇到A再回头跑向B，如此反复，直到A和B相遇。最终小狗跑了多少米？

小H对题目进行了逐字逐句的研读，开始计算：

先求出小狗遇到B的地点，计算出小狗跑了多少米；

再求出小狗折返以后，遇到A的地点，计算出小狗跑了多少米；

再求出小狗折返以后遇到B的地点……

这样反复迭代，直到A与B最终相遇。

学过高中数学的同学都会发现，最终迭代的次数是无穷大，答案是一个无穷递缩等比数列，从高等数学的视角看，这涉及到一个级数收敛性的问题。

小H：这一定不是小学数学题！！！

坐在小H旁边的小J看了一眼，告诉小H：

A和B相遇的时间 = 5000/(90+110) = 25分钟；小狗一共跑了25分钟，所以共计跑了25*300 = 7500米。

小H：*&…^%$#@

方老师看见了，笑着说：“你们终于理解不要把简单问题复杂化，要把复杂问题简单化的道理了。”

在上一期，我们解决了DGX服务器集群中，云计算业务网络的连接问题，下面，我们可以解决RDMA网络的构建问题了。

首先我们看最简单的情况：每台DGX A100有8张100G RDMA网卡，当集群台数不超过4台的时候，我们将4台服务器的32张100G RDMA网卡连接到同一台32口100G的交换机就可以了。

我们需要考虑的下一个问题是，如果超过4台 DGX A100互联的场景呢？

这里面的一个核心问题是，每台DGX A100有8张网卡，我们应当制定什么样的一个规则，来确定哪张网卡连接到交换机的哪个端口呢？

NVidia给的版本答案是：

由于GPU服务器内部各块GPU的互联互通可以通过NVLink Switch实现，因此，在设计网络时，每台接入交换机的16个下行口应当连接16台GPU服务器上，同等位置的以太网接口。

如图：

如上图所示，每台DGX A100上8块GPU RoCE网卡各连接到一台接入交换机，接入层使用8台32口100G交换机，每台通过16个100G以太网连接DGX A100，另外16个100G以太网接口上行，连接核心交换层，8台共128个100G 以太网接口。核心交换层使用4台32口100G交换机实现，提供汇聚层各台交换机之间的互联互通。

DGX A100内部两颗GPU互通可以直接通过NVLink Switch，如蓝色箭头所示；两台DGX A100上，相同编号的GPU需要互通时，可以直接通过对应的交换机互通，如图中绿色箭头所示的，两台DGX A100上0号位置的GPU互通，通过0号交换机；

较为复杂的一种情况是不同节点上不同位置的GPU互通。对于此种情况，要通过接入层后，经汇聚层绕行后，抵达目的GPU，如图中红色箭头所示。

在该组网方案中，考虑到跨节点GPU通信是一种经常出现的需求，我们在设计时要按照无阻塞交换网络设计，也就是接入层的收敛比应当为1:1，32口100G交换机的16口用于下行，16口用于上行，对应地，汇聚层使用100G接口下行。

如果DGX A100的台数增加，可以横向扩展接入层和汇聚层。每台32口100G交换机的上行接口为16个，理论上最多可连接16台32口100G汇聚交换机，这样一来，整集群可以容纳64台DGX A100，计算方法为：

16(汇聚层台数)*32(汇聚层接口数)/1(收敛比)/8(每台以太网口数) = 64(台)。

对于64台以上的组网需求，还可以通过纵向扩展汇聚层交换机来实现，如使用单台128口100G的交换机作为汇聚层，能将集群扩展至256台。如果我们还需要更多的DGX A100台数，还可以扩展为三层组网来实现。