将文件写入gcloud存储桶应该很慢吗？
将文件写入gcloud存储桶应该很慢吗？
提问于 2020-02-10 13:39:34
我使用的是一个挂载到带有gcsfuse的VM实例上的gcloud存储桶。当文件存储在存储桶中时，我打开文件并读取它们没有问题，但当我尝试将文件写入存储桶时，速度非常慢，当我说“非常慢”时，我的意思是至少慢10倍，如果不是100倍的话。应该是这样的吗？如果是这样的话，我想我将不得不将文件写入永久磁盘，然后将文件上传到存储桶，然后将文件从存储桶下载到我的个人计算机。虽然这一过程将花费相同的时间，但至少不会发生心理上的士气低落。
回答 1
Stack Overflow用户
发布于 2020-02-10 20:36:23
性能:与本地文件系统相比，云存储FUSE的延迟要高得多。因此，当一次读取或写入一个小文件时，吞吐量可能会降低。使用较大的文件和/或一次传输多个文件将有助于提高吞吐量。
- 各个I/O流的运行速度大致与gsutil一样快。
- gsutil rsync命令可能特别受延迟的影响，因为它一次只能读写一个文件。在命令中使用顶级-m标志通常会更快。
- 小随机读取会因为第一个字节的延迟而变慢(不要在云存储上运行数据库)。blob写入是通过读取整个blob，在本地编辑它，然后将修改后的整个blob写回到云存储来完成的。对大文件的小写操作按预期工作，但速度较慢且expensive.
或者，请查看gsutil tool或GCS Client Libraries，甚至Storage Transfer Service，因为根据您的特定用例，它们可能更适合您的需求。
我希望这能澄清你的顾虑。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60144624
复制相关文章
相似问题
腾讯云开发者
