2x10 Gbps网络:将NFS传输到6 Gbps的巨大文件
我正在使用NFS通过网络传输大文件(78 to )，但传输最终被限制在6 Gbps (在2x10GbNIC上)。我暂时找不到瓶颈。在这里，我的设置：
1服务器
- MB: SupermicroX10DRH-C (pcie 3.0)，只有一个cpu
- NIC: 2x10 T2L(英特尔X710-T2L)
- 64 of DDR4 (2400 DDR4)
- HBA: LSI 9311-8i => 2迷你SAS hd连接到SAS 12 8i背板。
- 12 HDD:消费者级，SATA。东芝MG09 18TB ( SAS限制在每行6 Gbps )
NFS /etc/exports : xxx(rw、异步、fsid=0、no_subtree_check、crossmnt)。用于nfsd的24个线程
我试着把dd大文件放进所有的磁盘中，没有慢下来，它们都写在200 at /S。
2客户端
NFS配置:异步。
MTU: 9000。
- 线程程序3970 X，192 gen的ram，从4 NVME 3的RAID0中复制
- 2 xeon E5,512 E5的ram，从4ssd的RAID0复制
客户端通过自己的网络(10.1.0.0/24和10.1.2.0/24)直接连接到服务器(没有交换机)。
我试着用ethtool来玩环形缓冲区和流控制，但是它没有改变任何东西。没有很大的CPU负载。
我通常同时复制6-8个文件到6-8个不同的磁盘=>上，所以我预计平均传输速率为9-12 12Gbps。网络在一个接口上有时超过9 Gbps，持续几秒钟，但最终在这两个接口上稳定在3 Gbps左右。我想是因为服务器内存中的缓存
请帮我找一下瓶颈。
编辑：iperf结果：
iperf -w 2m结果：
回答 2
Server Fault用户
发布于 2023-02-22 16:56:34
你用什么来复制数据呢?我发现cp、mv、rsync等标准工具规模不大，将使用bbcp进行此类传输。尽管这个项目不幸被放弃了，但它还是更好。我能做的最好的就是在10 Gb/s共享以太网线路上安装nfs v4.0，但当它未使用时，我以前见过它饱和在1.2GB/S。
bbcp在https://www.slac.stanford.edu/~abh/bbcp/
据我所知，吉特布上有叉子，但也被遗弃了。
有时候斯坦福的git不起作用，但是如果你一整天都试一次，你应该可以从那里得到17.12.00.00.0.
如果没有，我保留了一个干净的副本回购，以便我可以把它放在新的机器上。我只是用git archive -o bbcp-17.12.00.00.0.tar master把它存档，然后把它放在这里：https://ava.genome.arizona.edu/pub/bbcp-17.12.00.00.0.tar.gz
最好的
Server Fault用户
发布于 2023-02-15 07:19:54
诊断这样的网络问题可能很棘手。请从以下步骤开始(最好一次完成一个步骤)：
- 将Linux功率调控器设置为性能；
- 在客户端和服务器上启用巨帧(从您的文章中，我看到客户端MTU为9000，但没有为服务器指定)；
- 尝试只复制单个文件的前8GB，至少连续复制两次。如果连续拷贝速度快，这意味着您的限制是总磁盘延迟/IOP(网络和NFS增加了一些开销，因此这可能会影响您的总交付IOP)；
- 尝试在NFS3和4.1之间切换，或者考虑使用pNFS；
- 增加NFS
rsize和wsize(见这里)
https://serverfault.com/questions/1122675
复制相似问题
腾讯云开发者
