归档存储实践案例

最近更新时间:2025-09-17 16:04:52

我的收藏

实践背景

归档存储是一种数据存储解决方案,专门用于长期保存不常访问的数据,它通常用于存储那些需要保留但不需要频繁访问的信息。为了满足用户对数据的长期保留和业务需求,并在最大程度上为用户减少成本,用户可通过归档存储保存长期需要使用的数据。

场景一:常规数据的自动归档与成本节省

背景​​

用户希望将 Prometheus 实例采集的所有监控数据保存90天,但希望优化存储成本。

解决方案​​

配置 Prometheus 实例的热存储时长为30天,并启用时长为60天的归档存储。这样,数据在热存储中保存30天后,会自动压缩并迁移至归档存储中再保存60天,总保存时长达到90天。

成本分析

假设用户在广州地域的某个 Prometheus 实例上报数据200百万条,其中付费指标用量100百万条,免费指标用量100百万条。
​​使用归档存储的方案​​:
日付费指标上报费用 = 日付费指标用量 × 存储30天单价 = 100(百万条)× 0.7 = 70元
日免费指标存储费用 = 日免费指标用量 × 免费指标存储单价 = 100(百万条)× 0.01 = 1元
日归档存储费用 = 日上报数据总量(免费指标用量 + 付费指标用量) × 归档存储天数 × 单价 = 200(百万条)× 60 × 0.0005 = 6元
月总费用(按30天计) = (70 + 6) × 30 + 1 × (30 - 15) = 2,295元
说明:
Prometheus 控制台页面展示的日归档存储预估费用预估的单日上报数据量 × 归档存储天数 × 单价,在计算时可直接与使用时长相乘进行预估。
不使用归档存储的方案(直接存储90天)​​:
日付费指标上报费用 = 日付费指标用量 × 存储90天单价 = 100(百万条)× 1.4 = 140元
日免费指标存储费用 = 日免费指标用量 × 免费指标存储单价 = 100(百万条)× 0.01 = 1元
月总费用 = 140 × 30 + 1 × (30 - 15) = 4,215元
通过启用归档存储功能,该用户每月可节省费用 ​​4,215 - 2,295 = 1,920元​​,成本降低率约为 ​​45.5%​​。

场景二:重要时期数据的长期归档

背景

若用户需要对重大节假日等关键时间节点的数据进行长期存储以便后续复盘查看,可在时间节点前新建 Prometheus 实例专门归档存储重要数据。以电商用户为例,用户需对“双十一”大促期间的监控数据进行长期保存(如2年),以便后续深度复盘、生成年度报告或审计。

解决方案

在关键时间节点(如大促前)专门创建一个新的 Prometheus 实例,为其配置常规的热存储时长(如30天),并勾选归档存储功能,设置超长的归档时长(如2年)。将大促期间所有需要长期保存的数据上报至此专用实例。大促结束后,停止向该实例写入数据。此后,该实例不再产生新的数据上报费用,但已写入的数据将在归档存储中完整保留2年。

优势

成本可控​​:仅为需要长期保存的特定数据支付归档费用,避免为主实例中所有数据支付高昂的长期存储成本。
数据独立​​:关键时期的数据与日常监控数据隔离,管理更清晰,避免误操作。
灵活性强​​:可根据不同重要事件,创建多个独立的归档实例,满足多样化的保留策略。

场景三:基于归档数据生成历史报表与趋势分析

背景

企业用户需要定期生成月度、季度和年度的业务性能报表,用于分析系统长期运行趋势、评估营销活动效果以及进行容量规划。这些报表需要基于过去1 - 2年的历史监控数据生成,但对数据的实时性要求不高。

解决方案

用户可为生产环境的 Prometheus 实例配置归档存储功能,设置热存储时长为30天,归档存储时长为2年,并为 Prometheus 实例 绑定 Grafana。在 Grafana 中为归档数据创建“报表”看板,将时间范围设置为包含了归档数据的时间段。对归档数据进行查询时,受查询数据量和查询频率的影响,可能会出现查询慢或超时的问题,建议适当增大查询超时时间,对于复杂的聚合查询,通过 预聚合规则 生成预聚合指标,降低查询归档数据时的计算开销和响应时间,请参见 基于 Prometheus 预聚合能力的查询性能优化

价值与收益

合规性保障​​:满足行业规范或公司内控对于业务数据保留2年的要求,同时确保了数据的真实性和可验证性。
释放核心资源​​:将耗资源的报表查询流量导向归档存储,避免其与实时监控告警争抢资源,保障生产系统的稳定性。