检查S3存储桶中存在的文件的MD5并加载尚不存在的文件

文章/答案/技术大牛

发布

1回答

amazon-web-services、amazon-s3、boto3

我需要将数据从本地服务器加载到S3存储桶中。一个python脚本将被安排在每天早上运行，用于加载到达本地服务器的任何新文件。但是，加载的文件不会从本地服务器中删除，我需要加载尚未加载到S3存储桶中的文件。本地服务器和S3<

浏览 17提问于2021-05-12得票数 2

1回答

亚马逊网络服务S3文件同步

multithreading、amazon-web-services、file、amazon-s3、synchronization

我尝试从本地源到S3存储桶进行文件同步，通过计算S3校验和并将其放入每个文件的元数据中，将文件上传到MD5存储桶。问题是，在这样做的同时，我还检查了目标位置已经存在的文件，以避免重复上传。为此，我创建了一个要上传的文件列表，该列表在名称和MD5</e

浏览 1提问于2018-09-18得票数 0

2回答

复制到大型目录时，亚马逊网络服务S3同步非常慢

amazon-web-services、amazon-s3、aws-cli、bigdata

当使用AWS-CLI将数据同步到S3中的空目录时，几乎是瞬间完成的。但是，当同步到一个大目录(几百万个文件夹)时，甚至需要很长时间才能开始上传/同步文件。有没有其他方法？看起来它试图在同步之前考虑到S3目录中的所有文件-我不需要这样做，并且在不事先检查的情况下上传数据就可以了。

浏览 59提问于2017-01-25得票数 18

回答已采纳

1回答

是如何最后运行MD5校验和的？

amazon-web-services、amazon-cloudformation、aws-cli

下面是aws cloudformation文档中的一段。我的问题是package命令是如何从上一次管道运行中获取文件的<em

浏览 2提问于2020-01-22得票数 0

回答已采纳

12回答

根据通配符判断对象是否存在于S3存储桶中

c#、amazon-s3

谁能告诉我如何确定某个文件/对象是否存在于S3存储桶中，如果存在或不存在则显示消息。基本上我想让它：2)在该存储桶内，查看是否存在前缀为test_ (test_file.txt或test_data.txt)的

浏览 1提问于2010-08-20得票数 46

回答已采纳

2回答

如何使用boto以编程方式获取亚马逊S3文件的MD5校验和

python、python-2.7、amazon-s3、md5、boto

推荐帖子：，下载后，我必须根据S3中元数据形式存在的数据的md5校验和来检查下载文件的md5校验和目前，我使用S3文件浏览器手动记录内容标头的"x-amz-meta- md

浏览 1提问于2013-06-01得票数 7

1回答

如何将django日志文件保存在aws弹性豆茎中托管的django应用的s3存储桶中

django、logging、amazon-s3、amazon-elastic-beanstalk

我有一个托管在Docker elastic beanstalk中的Django应用程序。我需要将django日志文件保存在s3存储桶中。但是为了检索django日志，我们需要手动ssh到eb实例并检查它。如果在eb配置中启用了日志循环，则可以将实例日志保存在s3存储桶中。但是，有没有类似的方法可以将eb实例d

浏览 14提问于2016-09-26得票数 3

回答已采纳

1回答

使用Jmeter检查s3上的文件上传

java、rest、amazon-s3、jmeter

无论如何，我的后端将启动一个缓慢的计算，这将在上传到s3的文件中结束几秒钟后。我想用jmeter测试它，以测量并发用户的延迟扩展，但我需要jmeter等待，直到文件成功加载到s3上。它是可以实现的，还是我需要编写自己的脚本来实现？

浏览 0提问于2021-11-16得票数 0

3回答

批量亚马逊网络服务S3文件是否存在验证？

amazon-web-services、amazon-s3

检查亚马逊网络服务S3存储桶中是否存在多个文件的最佳/最快方法是什么？例如，我在本地数据库中有100k的文件元数据。我想确保它们都存在于S3存储桶中。我可以对特定文件执行'aws s3 ls‘，但这意味着10万个aws请求。有没有更好的方法来解决这个问题

浏览 9提问于2019-01-17得票数 2

回答已采纳

1回答

在云格式中添加lambda条件？

json、amazon-web-services、amazon-s3、aws-lambda、amazon-cloudformation

我正在构建我的Cloudformation模板来创建一个S3桶。存储桶已经存在，并且它是在中创建的--这个

浏览 3提问于2018-08-22得票数 0

1回答

如何在lambda函数内触发告警

amazon-web-services、aws-lambda、amazon-cloudwatch、amazon-sns

因此，我创建了一个lambda函数，该函数获取特定S3存储桶中的所有条目，并检查该存储桶中是否存在某个文件。目前，如果它确实存在，它会将名为"fileExists“的变量设置为true，如果不存在，则将其设置为false。当我注意到文件不存在时，我想知道如何从lambda函数触发警报

浏览 13提问于2021-04-19得票数 0

1回答

如何将s3存储桶自动同步到本地文件夹

amazon-web-services、amazon-s3

我正在尝试将我的s3存储桶的副本放在本地文件夹中。当存储桶发生变化时，需要及时更新。我看到很多使用lambda函数的选项，但我正在询问s3 cli命令的用法：它将下载存储桶上存在的

浏览 1提问于2020-02-14得票数 5

3回答

检查s3存储桶中是否存在文件夹

ruby、ruby-on-rails-3、ruby-on-rails-4、amazon-s3

如何使用Ruby on Rails检查我的s3存储桶中是否存在某个文件夹？AWS::S3::Base.establish_connection!(:access_key_id => 'my_key_id', :secret_access_key => ‘my_secret’) 我有一个名为：myfirstbucket的</e

浏览 0提问于2016-07-10得票数 5

1回答

AWS s3 api错误:指定的存储桶不存在

node.js、amazon-web-services、amazon-s3

我正在使用node AWS SDK将图像保存到s3。尽管存储桶存在，并且我拥有正确的权限，但我仍然收到以下错误： message: 'TheNoSuchBucket', statusCode: 404,我的node

浏览 1提问于2014-10-22得票数 8

回答已采纳

1回答

AWS S3检查存储桶中是否存在密钥

ios、objective-c、amazon-s3

我有一个上传和下载文件到Amazon AWS S3存储桶的iOS应用程序。如果文件名不存在，我希望我的应用程序上载该文件。并下载带有其名称的文件(如果存在)。我找到了一个关于检查文件是否存在的答案。

浏览 2提问于2015-09-15得票数 0

4回答

Rails :未定义的方法‘`exists?’对于AWS::S3::S3Object:Class

ruby-on-rails、amazon-web-services、amazon-s3、paperclip

我正在使用aws-sdk gem并尝试验证上传到存储桶的文件是否存在。我也在使用Paperclip2.7。这种方法似乎不起作用：我觉得是AWS::S3::S3Object.exists？是来自旧的gem aws-s3的方法吗？我可以使用什么方法来测试

浏览 0提问于2013-05-03得票数 0

3回答

使用Java搜索亚马逊网络服务的S3文件

java、amazon-s3

我们使用java类从AWS s3存储桶中下载一个文件，代码如下 AWSConnectionUtil.getS3ObjectS3bucket获取输入流的类，filePath是cdn.generalsentiment.com存储桶中的文件。我们想要编写一个方法，它可以只检查特定文件</em

浏览 3提问于2012-02-24得票数 14

回答已采纳

1回答

如何在google云存储中禁用文件名检查

google-cloud-storage、cloud-storage

我意识到，在创建了一个具有默认设置的桶之后，任何知道桶名的人都可以检查文件的存在。有人尝试了url 这样就很容易发现存储<

浏览 1提问于2016-04-09得票数 1

回答已采纳

3回答

用于在s3存储桶中搜索文件的AWS CLI

aws-cli

我想在s3存储桶中搜索一个名为abc.zip的文件，它有近60个存储桶，每个存储桶有2到3级子目录或文件夹，.I尝试使用AWS CLI命令执行搜索，下面是我尝试使用的命令，但即使该文件存在于bucket.The中，也不会显示该文件的结果。contains(Key, 'abc.zip&

浏览 44提问于2018-08-15得票数 9

回答已采纳

1回答

如何在Java中将我的文件夹同步到亚马逊S3

java、amazon-s3

现在，我想做一个应用程序，将文件夹中的内容复制到我的亚马逊S3存储桶中。通过搜索，我发现判断两个文件是否相同的最好方法是获取MD5值。如何迭代地获取存储桶中每个文件的MD5？你的文件在桶里。但是，它并没有真正指定我如何与文件</e

浏览 0提问于2011-06-04得票数 3

回答已采纳

点击加载更多