数据湖计算 DLC 托管存储支持标准存储的基础下,Iceberg 原生分区表支持归档存储和深度归档存储。您可以根据数据的访问频率,将某些表或分区的存储类型设置为归档存储或深度归档存储,实现数据的冷热分层,以降低数据存储费用。
托管存储类型介绍
存储类型 | 存储类型介绍 |
标准存储 | 标准存储为 DLC 托管存储默认存储类型,适用于经常访问数据并对数据进行频繁读写操作的场景。 |
归档存储 | 适用于不需要频繁访问的数据,能够有效降低存储费用。归档后,存储时间不可少于90天。 |
深度归档存储 | 适用于不需要频繁访问的数据,能够有效降低存储费用归档后,存储时间不可少于180天。 |
归档存储与深度归档存储开启方式
说明:
1. 前提条件:用户已经配置 ALTER TABLE 权限,否则无法进行存储策略配置。
2. 仅分区表可以配置分层存储策略。
3. 策略配置上限为500条,生效的表级别策略占用配置数量,生效的分区级别策略不占用配置数量。若已有策略超过500条,需删除已有策略后再创建新的分层策略。
4. 表级别的策略生效后,该表的所有分区字段都生效。
5. 若分区存在多个配置策略,按照最冷策略生效。
6. 策略配置的生效时间不超过T+1。
方式一:根据表级别设置归档策略
1. 进入数据库,选择归档表所在的数据库并单击进入详情页。
2. 左上角单击进入存储分层策略配置页面,单击创建策略 ,可批量勾选该数据库下的分区表进行归档策略设置。
方式二:根据分区字段设置归档策略
说明:
1. 如果用户将归档策略配置在分区上,则归档策略作用在当前快照上,当配置时的快照数据归档完毕,再写入的数据将不会进行归档,此时如果用户需要对该归档后新产生的数据进行归档,可通过修改配置重新归档。
2. 若有正在创建中的归档,需等待该归档生效后,才能创建新的归档。
3. 如果用户在配置分区的归档策略时,发现分区信息没有展示Location,则需要单击刷新按钮重新采集分区信息。
4. 如果用户已经在表级别设置了归档策略,无需在分区字段上设置归档策略。
1. 进入数据库,单击需要配置策略的分区表,切换到 存储分层 页面。
2. 单击 创建归档 ,可批量勾选该表的分区字段进行归档策略配置。
归档存储与深度归档存储数据恢复操作
说明:
1. 恢复操作的生效时间不超过T+1。
2. 对归档存储类型的数据进行恢复后,对象副本产生的费用按照标准存储计费;对深度归档存储类型的数据进行恢复后,对象副本产生的请求费用按照所标的单价收取。有关定价详情,请参见 产品定价 文档。
1. 进入数据库,选择归档表所在的数据库并单击进入详情页,单击需要恢复的分区表名称,切换到 存储分层 页面。
2. 在其右侧操作栏中,单击恢复。若您需要对多个归档进行批量恢复,可勾选多个,并单击上方的批量恢复即可。
3. 在弹出的窗口中,配置恢复副本有效天数。设置副本在多少天后自动过期删除,设置范围为最短1天。如需修改恢复天数,可在恢复完成后,再次单击恢复,在弹窗中对副本有效期进行更改。
4. 状态变为 恢复中 ,即表示操作成功。
5. 您可通过 查看恢复记录 ,可查看恢复操作的相关信息。