数据冷热分层

最近更新时间:2024-11-19 15:09:12

我的收藏
腾讯云数据仓库 TCHouse-D 支持将查询频率较低的数据降冷至对象存储 COS 中,大幅降低冷数据的存储成本。
注意:
当前仅2.0/2.1内核的集群支持此功能(当前此功能开白使用,若您有需要,请 提交工单 联系我们)。

操作指引

1. 进入 集群列表,单击需要配置冷热分层策略的集群 ID/名称
2. 在集群管理页中,单击左侧数据管理 > 冷热分层进入冷热分层页,单击开关开启冷热分层。

3. 数据降冷时,冷数据会写入对象存储 COS ,需选择用于存储数据的 COS 桶。
注意:
开启冷热分层功能时,为了避免对查询产生影响。请检查COS桶的生命周期策略,对象存储 COS 会按照您设定的规则在指定的时间内自动进行存储类型转换或删除。
冷热分层功能开启后不可关闭,且 COS 存储地址不可修改。

4. 冷热分层开启成功后,即可在页面中进行降冷策略管理及降冷详情查看。
注意:
为提升冷数据的查询性能,默认开启云盘缓存。云盘缓存越大查询性能越好,若需要调整缓存大小,请 提交工单 联系我们。

5. 单击新增降冷策略按钮配置数据降冷策略,支持以下2种降冷方式:
将超时未更新的老数据降冷:关联此策略后,超过降冷 TTL 时间未更新的老数据(segment 文件级别)将转为冷数据存入对象存储,新数据还会继续写入 BE 云盘。
从指定时间起整体降冷:关联此策略后,到达降冷时间后,关联此策略的所有表/分区都会整体降冷至对象存储,后续写入的新数据也会直接降冷至对象存储COS。

6. 选择已创建好的降冷策略,单击关联至库表,即可实现库/表同降冷策略的批量绑定 或 分区同降冷策略的绑定。请注意,系统表不支持配置降冷策略。

7. 降冷数据详情 Tab 页,可查看节点、库表粒度的降冷数据情况。