具有最小时间戳的aws s3同步同步文件
具有最小时间戳的aws s3同步同步文件
提问于 2018-03-12 05:37:34
我正在将一个目录同步到一个s3桶。它是一个目录，所以我只希望它检查在过去24小时内创建/更新的文件。
通过使用GNU/Linux的rsync，您可以通过将‘查找-mtime’的输出转到rsync来实现这一点；我想知道在aws s3同步中是否可能出现类似的情况？
编辑以显示最终目标:我正在运行一个脚本，它不断地将文件从web服务器同步到S3。它每分钟运行一次，首先检查是否已经有进程正在运行(如果已经运行，则退出)，然后运行aws同步命令。同步命令大约需要5分钟才能运行，通常会得到3-5个新文件.这会对系统造成轻微的负载，我认为如果我在过去的24小时内检查文件，它会快得多。
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-03-12 07:10:56
不，AWS命令线接口(CLI) aws s3 sync命令不能选择只包含在定义的时间段内创建的文件。
请参阅：aws s3同步文档
听起来你的大部分时间都被检查文件是否需要更新而消耗掉了。一些备选方案：
- 如果您不需要本地的所有文件，您可以在一段时间后(48小时？)删除它们。这意味着需要比较更少的文件。默认情况下，
aws s3 sync不会删除与本地文件不匹配的目标文件(但可以通过标志进行配置)。 - 你可以复制最近的文件(过去的24小时？)进入另一个目录并从该目录运行
aws s3 sync。然后，在成功的同步运行后清除这些文件。 - 如果您对文件名具有灵活性，可以在文件名中包含日期(例如
2018-03-13-foo.txt)，然后使用--include和--exclude参数只复制带有所需前缀的文件。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/49228740
复制相关文章
相似问题
腾讯云开发者
