首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >为什么S3对象的ETag会在副本下改变?

为什么S3对象的ETag会在副本下改变?
EN

Stack Overflow用户
提问于 2021-04-20 02:32:15
回答 2查看 1.6K关注 0票数 5

我试图使用S3在不同帐户中的存储桶中的前缀之间执行boto3同步。我的尝试是在帐户A中列出源桶/前缀中的对象,在帐户B中列出目标桶/前缀中的对象,并复制前者中具有与后者中的对象的ETag不匹配的ETag的对象。这似乎是正确的方法。

但是,即使复制操作成功,每次执行副本时,目标对象的ETag似乎也是不同的。具体来说,

代码语言:javascript
运行
复制
>>> # Here is the source object: {'Key': 'blah/blah/file_20210328_232250.parquet', 'LastModified': datetime.datetime(2021, 3, 28, 23, 38, 2, tzinfo=tzutc()), 'ETag': '"ba230f7a358cf1bee6c98250089da435"', 'Size': 52319, 'StorageClass': 'STANDARD'}
>>> client.copy_object(
CopySource={"Bucket": "source-bucket-in-acct-a", "Key": "blah/blah/file_20210328_232250.parquet"),
Bucket="dest-bucket-in-acct-b",
Key="blah/blah/file_20210328_232250.parquet"
)
... 'CopyObjectResult': {'ETag': '"84f11f744cf996e16a3af0d6d2fbee07"', 'LastModified': datetime.datetime(2021, 4, 20, 2, 23, 40, tzinfo=tzutc())}}

注意,ETag已经更改。如果我再次运行该副本,它将再次拥有一个不同的ETag。我尝试过复制请求(MetadataDirective="COPY"等)的各种附加参数。我可能遗漏了一件保留ETag的东西,但我的理解是,ETag是从对象的数据中派生出来的,而不是它的元数据。

现在,它在AWS文件中说,对于成功的非多部分复制操作,ETags是相同的,但情况似乎并非如此。这不是一个多部分的副本,我已经检查了实际的数据;它们是相同的。因此,我的问题是:

如果没有成功的副本,对象的ETag如何改变?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2021-04-20 23:17:42

基于这些评论。

对象的Etag哈希计算不一致,不能完全用于检查对象的完整性。来自AWS博客

ETag并不总是一个MD5摘要,它的并不总是用来验证上传文件的完整性。

这是因为ETag 依附关于如何创建和加密对象的计算:

ETag是否是MD5摘要取决于是如何创建和加密的。

票数 4
EN

Stack Overflow用户

发布于 2022-06-05 22:14:10

请参阅:etags/#计算-an-s3-etag使用-python

注意:如果您只需通过AWS s3 web控制台复制文件,部分大小为16 web。

米奇

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67171693

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档