在这个设计中有哪些可能的瓶颈？
目前，我发现自己处于这样一个位置，我需要设计一个本地网络来并行处理来自多个来源的大量数据。不幸的是，我缺乏预测可能的瓶颈的经验，所以我希望你能帮助我。如果这是错误的论坛，请告诉我在哪里张贴这个代替。
因此，问题是:我有从5到15 USB棒，每个高达1TB (但最常见的是大约500 of )的视频数据。我需要处理这些视频文件，并将结果合并到一个位置(外部HDD)。
其目标是允许一台集线器/计算机将视频文件划分为多个(N)服务器，使它们能够处理这些文件并将它们发回。
我目前的想法如下：
[USB-hub] -> [Main computer] ------> [network switch] ----[Nx1gbit cable]-----> [N servers]主计算机有一个网卡，允许10 10gbit输出。连接到这台计算机的是一个USB3集线器，允许多个USB驱动器发送数据。计算机连接到具有CAT6a电缆的网络交换机，以允许10 10gbit的传输速度。
网络交换机允许计算机将文件传输到服务器，以便进行并发处理。这个交换机应该至少有1x10gbit和Nx1gbit连接，因为这些服务器的存储是瓶颈，我估计1gbit应该足够快。
我担心下面的瓶颈，我有一些想法来防止它们，但我希望你的帮助：
- USB集线器作为瓶颈，因为所有连接的USB驱动器都通过一个USB3端口连接。
- 将文件从usb驱动器传输到网络的开销。我不知道直接通过网络将文件从USB存储传输到HDD驱动器的开销是否对CPU有任何开销，或者是否需要一定数量的RAM来缓冲文件。
这些预测的瓶颈是否正确？如果是的话，你对如何解决这些问题有什么建议吗？
提前感谢
回答 1
Network Engineering用户
发布于 2022-01-11 12:29:38
USB 3 HDD可以超过200 MB/s，几乎是1G以太网速度的两倍。不过，普通的闪光灯条要慢得多。
USB 3.2超过1.5GB/S，甚至超过10G以太网带宽。更详细的细节在这里不再讨论，我建议在您的平台上进行测试。
网络传输的开销取决于您使用的协议。最常见的是，协议是基于IPv4之上的TCP，对于1G以太网(1000BASE-T)来说，该协议应该超过115 MB/s。
本地开销(CPU/RAM)完全依赖于现有的平台、工具和协议，这里完全不讨论这个问题，对不起。容量规划可以在服务器故障上进行，但是他们希望看到更多的细节(硬件、软件、设置)。
https://networkengineering.stackexchange.com/questions/77547
复制相似问题
腾讯云开发者
