问命令在中断后使用AWS CLI继续批量下载。
EN

Stack Overflow用户

提问于 2022-06-24 11:46:54

回答 1查看 99关注 0票数 0

我正在从一个桶下载550 to数据(~26k文件)，由于互联网切断下载中途停止，只有~3k文件被下载，这已经花了很多时间，因为低带宽。如何在cmd上重新启动大容量下载，将已下载的文件留在文件夹中，然后开始其他文件的下载。

我在cmd上使用它启动下载：

aws s3 cp s3://raster/COP30/ . --recursive --endpoint-url https://opentopography.s3.sdsc.edu --no-sign-request

发布于 2022-06-24 11:59:08

当下载大量文件时，特别是使用断断续续的互联网连接时，请使用aws s3同步而不是aws s3 cp。您可以在您已经下载的目录上运行它，它将确定它已经拥有哪些文件，并且只下载它需要的文件。

据我所知，AWS不会重新启动一个无法下载的大型文件。但是，您可以编写一个按字节范围检索文件内容的程序，因此这是一种解决方案。也许有一个第三方程序为你这样做，但我不知道。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/72743613

复制

相似问题

问命令在中断后使用AWS CLI继续批量下载。EN