问并行从AWS S3桶下载文件
EN

Stack Overflow用户

提问于 2020-10-04 19:54:45

回答 1查看 3.1K关注 0票数 0

我想从S3桶下载上百万个文件，这将需要一个多星期的时间逐个下载--任何方式/任何命令都可以使用shell脚本并行下载这些文件吗？

谢谢,

发布于 2020-10-04 22:09:33

AWS CLI

当然，您可以并行发出GetObject请求。事实上，AWS命令线接口(CLI)在传输文件时正是这样做的，这样它就可以利用可用的带宽。aws s3 sync命令将并行传输内容。

如果存储桶中有大量对象，则列出存储桶的内容可能需要很长时间。因此，您可能希望通过前缀(文件夹)来sync存储桶，而不是一次全部尝试。

AWS DataSync

您可能需要使用AWS DataSync

AWS DataSync是一种在线数据传输服务，它通过互联网或，简化、自动化和加速将大量数据复制到AWS存储服务和从AWS存储服务。通过网络将活动数据集快速移动到、Amazon或。DataSync包括自动加密和数据完整性验证，以帮助确保数据安全、完整和易于使用。

DataSync使用的协议充分利用了可用带宽，并将管理内容的并行下载。适用$0.0125 per GB的费用。

AWS雪球

另一种选择是使用AWS雪锥 (8TB)或AWS雪球 (50 8TB或80 8TB)，它们是物理设备，您可以从S3预加载内容并将其发送到您的位置。然后将其连接到网络并下载数据。(它也可以反向工作，用于将大量数据上传到亚马逊S3)。

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/64199250

复制

相似问题

问并行从AWS S3桶下载文件EN