首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >rclone从存储桶到文件系统的传输速度很慢

rclone从存储桶到文件系统的传输速度很慢
EN

Stack Overflow用户
提问于 2020-09-25 23:12:14
回答 1查看 291关注 0票数 0

我正在使用rclone在微型存储桶和共享存储之间传输数据。我正在迁移一个商店,数据量大约是200 Im的产品图片。每一张图片都有自己的文件夹/路径。所以有很多需要创建的文件夹。Rclone安装在新服务器上,存储通过san连接到服务器。传输已经持续了一个多星期,我们现在的数据是170 is。一切都很好,但在我看来,它真的很慢。从存储桶传输到传统文件系统的速度如此之慢是正常的吗?

EN

回答 1

Stack Overflow用户

发布于 2020-09-26 00:33:25

(计算一下,速度只有2.3 math。老实说,我不会为这样的速度付出任何代价。)

也许您应该将问题分解并逐个部分地进行诊断。下面是几个常见的地方,需要注意传输速度慢(一般来说,对于任何文件传输):

首先,网络和文件系统通常无法处理大量小文件,因此为了隔离问题,请先将较大的文件上传到minio (1GB+)。对于每一步,首先使用大文件进行测试。

  1. 源码的速度够快吗?尝试将文件从minio复制到本地存储或内存(/tmp通常是tmpfs,然后存储在内存中,使用mount进行检查)。
  2. 目标的速度是否足够快?尝试dd或其他磁盘性能测试实用程序。
  3. 的网络延迟是来源高吗?尝试使用timing)
  4. Is命令或curl命令(使用ping命令将网络延迟设置为高?尝试iostat
  5. Maybe中央处理器是瓶颈吗?因为编码和解码需要相当多的计算能力。在副本运行时尝试top

同样,对大文件和碎片文件分别尝试这些步骤。碎片化的文件很有可能是一个问题。如果是这样的话,我会尝试在rclone中查找并发选项。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64066839

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档