如何使用s3有效地使用boto3移动和分区文件？
如何使用s3有效地使用boto3移动和分区文件？
提问于 2022-07-12 10:48:39
s3位置中大约有10k个文件，这些文件从dynamodb导出到s3选项。这些文件没有以任何方式进行分区，而是在一个文件夹中，这对于用例来说是一个问题。我希望在s3中移动所有这些文件，并以一种随机的方式对其进行分区。例如，我有100个文件，我希望将这些文件批量地移动为10，并创建10个分区(分区=1/ 10文件，分区=2/10文件，.)。如何使用boto3有效地完成这个任务？
回答 1
Stack Overflow用户
发布于 2022-08-24 07:32:56
- 从AWS存储桶中获取所有文件的列表，并将其存储在一个列表中。
- 块--大列表大小为10。
list_partition_size = 10
data_list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 01, 2, 2, 33, 3, 3, 4, 4, 54, 5, 5, 5, 5, 5, 5, 5, 5, 5, 5]
records_list_chunk = [data_list[i:i + list_partition_size] for i in
range(0, len(data_list), list_partition_size)]
print records_list_chunk- 在列表上添加了一个for循环，您将得到长度为10的块，并且可以将其传递给将移动它们的方法。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72951067
复制相关文章
相似问题
腾讯云开发者
