我正在使用rclone在微型存储桶和共享存储之间传输数据。我正在迁移一个商店,数据量大约是200 Im的产品图片。每一张图片都有自己的文件夹/路径。所以有很多需要创建的文件夹。Rclone安装在新服务器上,存储通过san连接到服务器。传输已经持续了一个多星期,我们现在的数据是170 is。一切都很好,但在我看来,它真的很慢。从存储桶传输到传统文件系统的速度如此之慢是正常的吗?
发布于 2020-09-26 00:33:25
(计算一下,速度只有2.3 math。老实说,我不会为这样的速度付出任何代价。)
也许您应该将问题分解并逐个部分地进行诊断。下面是几个常见的地方,需要注意传输速度慢(一般来说,对于任何文件传输):
首先,网络和文件系统通常无法处理大量小文件,因此为了隔离问题,请先将较大的文件上传到minio (1GB+)。对于每一步,首先使用大文件进行测试。
mount进行检查)。dd或其他磁盘性能测试实用程序。curl命令(使用ping命令将网络延迟设置为高?尝试iostattop。同样,对大文件和碎片文件分别尝试这些步骤。碎片化的文件很有可能是一个问题。如果是这样的话,我会尝试在rclone中查找并发选项。
https://stackoverflow.com/questions/64066839
复制相似问题