智能分层存储简介

最近更新时间:2024-06-20 17:21:01

我的收藏

简介

智能分层存储类型为数据提供了冷热分层机制,能够根据用户数据的访问模式,自动地转换数据的冷热层级,从而降低用户数据的存储成本。
智能分层存储适用于访问模式不固定或者无法预估访问模式的数据,COS 会监控对象的访问情况,存储费用将按照数据实际存储的层级收费(高频访问层、低频访问层、归档层、深度归档层)。用户可以按照自身业务需求,将访问模式不固定的数据转换为智能分层存储类型,降低云上存储成本。
注意:
智能分层存储类型当前仅支持北京、南京、上海、广州、成都、重庆、新加坡、孟买、东京、法兰克福地域。
智能分层存储类型为独立的存储类型,使用时将产生智能分层存储容量费用和智能分层对象监控费用,其中智能分层存储容量费用,您可以选择智能分层存储容量包进行抵扣。更多计费信息请参见 产品定价
MAZ 存储桶不支持开启智能分层归档/深度归档层配置。

优势

当用户上传数据时选择以智能分层存储类型存放到 COS,COS 将周期性地监测数据访问次数,在持续一段时间没有数据访问时,将数据转移至存储成本更低的访问层。如果数据重新被访问,则会被重新转移到高频访问层上,保障数据读取性能。通过数据冷热分层存储,智能分层能够帮助用户在存储成本和读写性能之间寻找平衡点。使用智能分层存储具有以下优势:
成本集约:当数据持久化存储为智能分层存储类型时,存储时间越长,则相较存储于标准存储的成本越低,最多可节约20%左右的存储成本。智能分层存储类型还参与对象存储生命周期流程,用户可以按需将智能分层存储沉降到归档存储中,进一步降低数据存储成本。
稳定持久:智能分层存储提供与标准存储一致的低时延和高吞吐体验。同时,智能分层存储采用纠删码冗余存储的方式,提供了高达99.999999999%(11个9)的数据可靠性;数据分块存储,并发读写,提供高达99.99%的业务可用性。多 AZ 架构已同步智能分层特性,数据设计可靠性可高达99.9999999999%(12个9),业务设计可用性可高达99.995%。
便捷易用:只需为数据指定对象存储类型,即可应用智能分层存储特性。智能分层存储作为一种存储类型,天然适配 COS 的 API、SDK、工具以及生态应用,方便用户按需管理存储在云上的数据。

支持的存储层级

存储层级介绍

说明:
64KB以下小文件将保留在标准层,不沉降到低频访问层、归档层、深度归档层。
用户可以通过 API HeadObject 返回的头部 x-cos-storage-tier查看智能分层对象处在哪个层级。此外,调用 API GetBucket 和 GetBucketVersions 返回的对象列表中,智能分层对象将返回字段 StorageTier 用于查看对象所在的层级。
访问层级
x-cos-storage-tier
高频访问层
FREQUENT
低频访问层
INFREQUENT
归档层
ARCHIVE_ACCESS
深度归档层
DEEP_ARCHIEVE_ACCESS

高频访问层(默认开启)

上传 INT 对象后,对象默认处于高频访问层(FREQUENT)状态。当对象处于本层时,存储费用按当前地域标准存储刊例价进行计费。

低频访问层(默认开启)

为存储桶开启智能分层配置时,需要选取转换为低频访问层的天数,可选项包括30、60、90天。天数一旦设置后,不支持修改。
当对象连续30天(或60天、90天)无访问时,对象将从高频访问层转换为低频访问层(INFREQUENT)。当对象处于本层时,存储费用按当地域低频存储刊例价进行计费。该层对象被访问后,将重新回到高频访问层。

归档层(可选)

由于归档层对象需要先恢复再访问。因此,归档层的开启为可选项,用户可通过添加一条或多条智能分层归档配置规则,针对指定前缀、标签的对象开启归档层,并配置转换天数。归档层的转换天数至少为91天,最大值为730天。
说明:
若当前地域不支持归档存储,控制台不支持添加归档配置规则,智能分层对象不会沉降到归档层。
当智能分层对象处于归档层,存储费用按当前地域归档存储刊例价进行计费,且不会产生提前删除费用。
恢复归档层的对象
当对象连续 N 天无访问时,对象将从低频访问层转换到归档层。一旦进入归档层,需要通过 PostObjectRestore 恢复后才能读取数据。
与普通的归档类型不同,INT 归档层对象的恢复,不会产生标准类型的副本,而是对象本身直接回到高频访问层。
与普通的归档类型相同,INT 归档层对象的支持快速、标准、批量三种取回模式。收费上,仅收取快速取回费用,刊例价与同地域归档存储快速取回费用相同;所有模式的取回请求费用,标准、批量模式的取回费用不收费。

深度归档层(可选)

同样的,深度归档层对象需要先恢复再访问。因此,深度归档层的开启为可选项,用户可通过添加一条或多条智能分层深度归档配置规则,针对指定前缀、标签的对象开启深度归档层。可以在同一条规则中,同时配置归档层和深度归档层的转换。需要注意的是,深度归档层的转换天数至少为180天,最大值为730天,且必须大于归档层的转换天数
说明:
若当前地域不支持深度归档存储,控制台不支持添加深度归档配置规则,智能分层对象不会沉降到深度归档层。
当 INT 对象处于深度归档层,存储费用按当前地域深度归档存储刊例价进行计费,且不会产生提前删除费用。
恢复深度归档层的对象
当对象连续 M 天无访问时,对象将从低频访问层/归档层转换到深度归档层。一旦进入深度归档层,需要通过 PostObjectRestore 恢复后才能读取数据。
与普通的深度归档类型不同,INT 深度归档层对象的恢复,不会产生标准类型的副本,而是对象本身直接回到高频访问层。
与普通的深度归档类型相同,INT 深度归档层对象支持标准、批量两种取回模式,不收取回费用、取回请求费用。

开启智能分层归档层及深度归档层配置

规则说明

当存储桶开启智能分层配置后,用户上传的智能分层对象默认仅在高频访问层、低频访问层间切换,在智能分层配置中添加归档及深度归档层规则后,可以开启归档、深度归档层的切换。每个存储桶最多支持添加1000条归档及深度归档层的配置规则,规则包含的元素如下。规则详情可参考 API 文档 PUT Bucket IntelligentTiering

规则名称(Id)

用于唯一标识归档及深度归档规则。

状态(Status)

支持开启(Enabled)或关闭(Disabled),关闭状态下,即使配置了归档/深度归档层规则,也不会被真实转换到归档或深度归档层级。

应用范围(Filter)

规定规则的生效范围,支持前缀筛选和标签筛选,前缀数量不超过1个,标签数量不超过10个。

层级设置

支持在一条规则中设置归档层和深度归档层的转换时间,设定好相应的规则后,INT 对象才会开启沉降到归档、深度归档层的转换,否则只会在高频访问层、低频访问层间互相转换。
归档层(ARCHIVEACCESS):支持设置91天~730天。
深度归档层(DEEPARCHIVE_ACCESS):支持设置180天~730天。





存储层级转换顺序

用户可以单独开启归档层的转换、单独开启深度归档层转换、同时开启归档和深度归档层的转换。按照配置的低频访问层、归档层、深度归档层的转换天数,将依次逐层沉降。
配置示例
配置详情
生效结果
示例1
低频访问层30天,归档层100天,深度归档层190天
连续30天无访问,从标准访问层转换为低频访问层。
连续100天无访问,从低频访问层转换为归档层。
连续190天无访问,从归档层转为深度归档层。
示例2
低频层30天,深度归档层190天
连续30天无访问,从标准访问层转换为低频层。
连续190天无访问,从低频层转换为深度归档层。
示例3
低频层60天,归档层91天
连续60天无访问,从标准访问层转换为低频层。
连续91天无访问,从低频层转换为归档层。

恢复归档及深度归档层的 INT 对象

当对象连续多天无访问时,对象将从低频访问层转换到归档层/深度归档层。一旦进入归档层、深度归档层,需要通过 PostObjectRestore 恢复后才能读取数据。
与普通归档类型、深度归档类型对象的恢复不同,INT 归档层、深度归档层对象的恢复,不会产生标准类型的副本,而是对象本身直接回到高频访问层。因此,针对 INT 归档/深度归档层对象发起取回请求时,不需要指定取回天数。
与普通的归档类型相同,INT 归档层对象支持快速、标准、批量取回模式;与普通的深度归档类型相同,INT 深度归档层对象支持标准、批量两种取回模式。
在收费上,除归档层快速取回费用外(定价与同地域归档存储快速取回费用相同),不收取任何其他取回费用、取回请求费用、回热副本存储费用等。

归档存储类型
智能分层对象-归档层
深度归档存储类型
智能分层对象-深度归档层
存储费用
按当前地域归档存储类型存储费用收费
按当前地域深度归档存储类型存储费用收费
取回是否生成副本
是,需要指定保留天数,按标准存储定价产生副本存储费用。
否,无副本存储费用。
是,需要指定保留天数,按标准存储定价产生副本存储费用。
否,无副本存储费用。
取回模式
快速模式 标准模式 批量模式
快速模式 标准模式 批量模式
标准模式 批量模式
标准模式 批量模式
取回费用
(单位:元/GB)
快速
归档快速取回费用
智能分层归档层快速取回费用(定价同归档存储)
\\
\\
标准
归档标准取回费用
免费
深度归档标准取回费用
免费
批量
归档批量取回费用
免费
深度归档批量取回费用
免费
取回请求费用
(单位:元/万次)
免费
免费
深度归档标准取回请求费用 深度归档批量取回请求费用
免费
读写请求费用
与恢复后的标准存储费用一致
智能分层读写请求费用
深度归档读写请求费用
智能分层读写请求费用
恢复过程中,可以通过 HeadObject 查看 INT 归档层/深度归档层对象的恢复状态。
处于恢复状态中,HEAD Object的响应头部将包含 x-cos-restore 和 x-cos-restore-status。例如,x-cos-restore:ongoing-request="true",cos-restore-status:tier="bulk"; request-date="Mon, 18 Nov 2019 09:34:50 GMT"。
恢复完毕后,INT 对象直接回到高频访问层,HEAD Object 的相应头部 x-cos-storage-tier 为 FREQUENT。

使用方法

将数据以智能分层存储类型存放到 COS,首先需要为存储桶开启智能分层配置。开启后,用户在上传对象时将存储类型指定为智能分层存储类型即可。

使用对象存储控制台

上传对象时设置为智能分层存储

用户可以参照以下步骤将对象保存为智能分层存储类型:
1. 在存储桶配置页面,开启智能分层存储配置,详细流程请参见 设置智能分层存储 文档。
2. 上传文件,并在上传时指定文件存储类型。文件的上传指引请参见 上传对象 文档。
注意:
存储桶的智能分层存储配置开启后,将无法关闭,请谨慎配置。

将云上数据转换为智能分层

用户可以参照以下步骤将已上传的存量数据转换为智能分层存储类型:
1. 在存储桶配置页面,创建生命周期规则,详细流程请参见 设置生命周期 文档。
2. 设置指定的规则应用范围,将数据沉降为智能分层存储。

开启智能分层归档及深度归档层

用户可按需为存储桶开启智能分层归档及深度归档层配置。详情请参见 设置智能分层存储 文档。

使用 REST API

您可以直接通过以下 API 配置智能分层存储:
1. 首先使用 REST API 为存储桶开启智能分层存储,请参见以下 API 文档:
开启智能分层、配置低频层转换天数:
配置、删除归档及深度归档层规则:
PUT Bucket IntelligentTiering (id非default)
GET Bucket IntelligentTiering(id非default)
2. 存储桶开启智能分层存储,您可以参见以下 API 文档,将对象上传为智能分层存储类型:
3. 如需查询对象的存储类型和所处的存储层,请参见以下 API 文档:
4. 您可以直接使用 REST API 删除智能分层存储类型的对象,请参见以下 API 文档部分:
5. 取回智能分层归档层、深度归档层的对象,请参考以下API:

使用 SDK

当前 COS 所发布的 SDK 都支持使用智能分层存储类型,具体方法是在文件上传时,将 StorageClass 参数设置为 INTELLIGENT_TIERING 和 MAZ_INTELLIGENT_TIERING,实现直传智能分层存储和智能分层存储(多 AZ)。关于上传对象 SDK 文档,请参见 SDK 概览

使用限制

使用智能分层存储存在以下限制:
配置限制:首次配置后不可更改,如需更改,请 联系我们。转换为低频访问层的天数,可选值为30、60和90。
初始存储层限制:智能分层存储类型的新增对象,默认处于高频访问层;持续一段时间无访问后才会转换至低频访问层。
最小存储单元限制:小于64KB 的对象只能持久存储于高频访问层中,不会在高频访问层和低频访问层之间转换。单个存储文件不论大小,均按实际数据大小计费。
操作限制:不支持通过追加上传接口将对象上传为智能分层存储类型。
生命周期限制:智能分层存储类型仅可转换为归档存储或者深度归档存储类型。标准存储类型沉降为智能分层存储类型时,将存储在高频访问层;低频存储类型沉降为智能分层存储类型时,将存储在低频存储访问层。
存储桶复制限制:存储桶复制时,如果目标存储桶未开启智能分层存储配置,则无法将对象复制为智能分层存储类型。

常见问题

智能分层存储是如何计费的?

智能分层存储包含智能分层存储容量费用智能分层对象监控费用。其中:
1. 智能分层存储容量费用会根据文件所处的存储层收取不同的存储费用。
当文件处于高频层时,按照标准存储容量费用收费。
当文件处于低频层时,按照低频存储容量费用收费。
说明:
标准存储、低频存储容量费用在不同公有云地域有不同的定价,具体定价请参见 产品定价
上传和下载文件过程中还会产生请求费用和流量费用,这些费用计算示例请参见 流量费用计费案例请求费用计费案例
2. 智能分层对象监控费用按存储的文件数来计算,小于64KB 的文件不收取,具体定价请参见 产品定价
示例
假设企业拥有1TB 文件,每个文件均大于64KB,总共10万个文件,数据以智能分层存储类型存储在北京地域,并指定转换为低频访问层的时间为30天。假设每30天都会有20%的文件(即2万个文件)沉降到低频层,那么每30天的对象监控费用和存储费用,如下表所示:
说明:
下面表格中北京地域的对象监控费用月单价为 0.175元/每万个对象,根据“日单价 = 月单价 / 30”的换算逻辑,则日单价为0.00583333元/万个对象/日。
存储天数
每30天对象监控费用(元)
每30天智能分层存储费用(元)
每30天标准存储费用(元)
30 x 1
0.175元/每万个对象 / 30 x 30 x 10万 = 1.75
1024 x 0.118 / 30 x 30 = 120.83
1024 x 0.118 / 30 x 30 = 120.83
30 x 2
0.175元/每万个对象 / 30 x 30 x 10万 = 1.75
819.2 x 0.118 / 30 x 30 + 204.8 x 0.08 / 30 x 30 = 113.05
1024 x 0.118 / 30 x 30 = 120.83
30 x 3
0.175元/每万个对象 / 30 x 30 x 10万 = 1.75
655.36 x 0.118 / 30 x 30 + 368.64 x 0.08 / 30 x 30 = 106.82
1024 x 0.118 / 30 x 30 = 120.83
30 x 4
0.175元/每万个对象 / 30 x 30 x 10万 = 1.75
524.288 x 0.118 / 30 x 30 + 499.712 x 0.08 / 30 x 30 = 101.84
1024 x 0.118 / 30 x 30 = 120.83
30 x 5
0.175元/每万个对象 / 30 x 30 x 10万 = 1.75
419.4304 x 0.118 / 30 x 30 + 604.5696 x 0.08 / 30 x 30 = 97.86
1024 x 0.118 / 30 x 30 = 120.83
30 x 6
0.175元/每万个对象 / 30 x 30 x 10万 = 1.75
335.54432 x 0.118 / 30 x 30 + 688.45568 x 0.08 / 30 x 30 = 94.67
1024 x 0.118 / 30 x 30 = 120.83
可以看到,随着存储时间越长,每30天只需要付出少量的监控成本,即可带来明显的成本降低。

智能分层适用于什么类型文件?

智能分层存储适用于音视频、日志等平均文件较大,且访问模式不固定的文件。平均文件容量越大,意味着您平均每 GB 文件需要付出的监控费用越少;如果您的业务访问模式比较固定,则意味着您可以通过生命周期配置好指定时间沉降到低频存储上,而不需要使用智能分层存储。

如何将文件存储为智能分层存储?

您可以通过以下两种方式将文件存储为智能分层存储:
增量文件:您只需要在上传时指定好存储类型为智能分层存储,即可将文件存储为智能分层存储。
存量文件:您可以通过 COPY 接口将文件存储类型修改为智能分层存储类型;或者通过生命周期功能,将标准存储,低频存储类型沉降为智能分层存储类型。
注意:
小于64KB 的智能分层类型的文件会一直存储在标准层中。因此小于64KB 的文件推荐按需直接上传标准/低频/归档/深度归档等存储类型,这样能够降低成本。

如何关闭智能分层存储配置?

智能分层存储配置开启后无法关闭,如果您无需将文件存储为智能分层存储,您只需要在上传文件时将文件存储类型指定为标准存储、低频存储、归档存储或者深度归档存储等非智能分层存储类型即可。
智能分层归档层/深度归档层规则支持删除,您可以将对应的规则删除,避免新的 INT 对象沉降到归档层/深度归档层。

智能分层的归档和深度归档层如何收费?

存储费用:按照同地域归档和深度归档存储收费。
取回费用、取回请求费用:除归档层快速取回费用外,不收取其他取回费用、取回请求费用。
回热副本费用:不收取。