将数据从AWS Ubuntu服务器移动到亚马逊S3存储桶的最佳方式是什么？
将数据从AWS Ubuntu服务器移动到亚马逊S3存储桶的最佳方式是什么？
提问于 2016-04-08 08:31:50
我正在将大量数据(link to data)下载到AWS Ubuntu服务器，希望最终能将数据下载到挂载的S3存储桶中。问题是，如果我使用200 if的磁盘将所有数据(例如，>1TB的数据)下载到AWS Ubuntu服务器，它将超出磁盘的限制。因此，考虑到这些限制，我如何有效地将数据传输到S3存储桶？
我考虑过将单个文件下载到磁盘，同步到S3，然后删除文件，尽管这种方法似乎非常低效。
回答 2
Stack Overflow用户
发布于 2016-04-08 10:24:17
根据评论，似乎最好的做法是使用awscli将其从本地计算机直接上传到s3。
以下是基本步骤：
pip install awscli(或use other installation methods)aws configureaws s3 cp /my/local/file.txt s3://bucket/key.txt
还有许多其他方法可用-但AWS的官方命令行工具得到了很好的支持，对于那些具有shell知识的人来说，这是一个很好的起点。
Stack Overflow用户
发布于 2016-04-08 13:06:07
由于您有大量的数据文件，因此我建议您使用S3FS，这是一个将S3磁盘挂载到实例中的工具，这样您就可以像访问普通文件系统一样访问所有文件(理论上是这样)。这里有一个链接，您可以从中获得更多信息
更新1:请记住，传输速度非常慢(根据我的测试，传输速度为10MB/s)，但我希望它能满足您的需求
http://tecadmin.net/mount-s3-bucket-centosrhel-ubuntu-using-s3fs/
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/36489536
复制相关文章
相似问题
腾讯云开发者
