我们目前正在评估使用谷歌存储的近线备份。所讨论的服务器位于Hetzner数据中心内,平均为80-100 data /S上游和300-500 data/S下游。我们使用谷歌gsutil
访问存储和它的rsync
命令同步我们的备份目录。虽然下载速度足够快,但上传文件的时间太长了:最大上传速度约为8-11 11Mbit/S。这种情况只发生在gsutil
上,并不能真正用于备份存储位置。我知道大文件应该使用并行复合上传方式上传,但是谷歌建议而非使它靠近线。
现在,我的问题是,这些低上传速度预期吗?有没有优化它的方法?事实上,我们生成的数据比谷歌存储( Google )还多,而且还需要寻找其他解决方案。
发布于 2015-09-15 22:10:21
如果有大量对象要同步,则可能需要使用gsutil -m选项来执行并行(多线程/多处理)同步:gsutil -m rsync -d -r data gs://mybucket/data
。
“使用-d选项时要小心!”
https://serverfault.com/questions/722435
复制相似问题