操作场景
操作与访问类日志具有巨大的业务价值，可用于业务洞察、客户服务、推广运营、用户行为分析等场景，需要对天、周级别的数据进行统计分析。同时此类日志也要满足180天保存时间的合规要求，保证日志可查询，用于攻击溯源等场景。
该场景需求呈现以下特征：
天级别到周级别的数据，业务价值高，需要用于各类统计分析图表，使用频次高，响应要及时。主要关注其实时性与分析能力。
月级别的数据，业务价值低，基本不再需要分析，使用频次低，同时数据量非常大。主要关注其存储成本。
针对以上特征，CLS 日志沉降支持将高价值的新数据接入标准存储做实时分析统计与告警，经过一段周期后（一般是几天到几周）将价值与使用频次降低的旧数据，沉降到存储成本更低的低频存储长时间保存。
操作步骤
开启日志沉降
1. 登录 日志服务控制台。
2. 在左侧导航栏中，单击日志主题，进入日志主题列表，单击创建日志主题，或者在日志主题列表选择已创建的日志主题，在基本信息页面进行编辑。
3. 配置日志保存策略，日志接入标准存储，日志保存时间可以选择永久保存，也支持选择固定期限保存。但需要注意，只有保存时间在7天及以上时，才可以开启日志沉降功能。
4. 开启日志沉降开关，根据业务需求选择日志在标准存储保存的周期。
5. 填写其他配置，完成后单击确认。
6. 保存后，日志将先接入标准存储一段周期，然后沉降到低频存储，存储费用大幅降低。如例所示配置，日志将在标准存储保存7天，然后沉降到低频存储保存23天后过期。
各日志存储方案对比
功能点 | 低频存储 | 标准存储 | 标准存储沉降低频存储 |
适用场景 | 只检索不分析的日志 | 需要实时分析与告警，不需要长期留存的日志 | 短期需要实时分析与告警，长期需要合规留存的日志 |
索引建立 | ✓（只支持全文索引） | ✓ | ✓ |
上下文检索 | ✓ | ✓ | ✓ |
快速分析 | × | ✓ | ✓ |
全文检索 | ✓（亿条数据2秒响应） | ✓（亿条数据0.5秒响应） | ✓ |
键值检索 | × | ✓ | ✓ |
日志下载 | ✓ | ✓ | ✓ |
SQL 分析 | × | ✓ | ✓（仅标准存储的数据支持） |
仪表盘 | × | ✓ | ✓（仅标准存储的数据支持） |
监控告警 | × | ✓ | ✓（仅标准存储的数据支持） |
投递到 COS | ✓ | ✓ | ✓ |
投递到 Ckafka | ✓ | ✓ | ✓ |
投递到 ES | ✓ | ✓ | ✓ |
投递到 SCF | ✓ | ✓ | ✓ |
日志消费 | ✓ | ✓ | ✓ |
数据加工 | ✓ | ✓ | ✓ |
定时 SQL 任务 | × | ✓ | ✓（仅标准存储的数据支持） |
日志沉降常见问题
如何进行日志沉降计费
开启日志沉降的日志主题，数据将先接入标准存储，产生写流量、标准索引流量费用。接入后在标准存储保存一段时间，期间产生标准日志存储、标准索引存储的费用。而后数据沉降到低频存储长时间保存，直到过期。期间产生低频日志存储、低频索引存储费用。
例如：每天写入1TB原始日志数据，保存180天，压缩比1：8，索引比例100%，以广州地域定价为例，每个月用量和花费如下：
计费项 | 标准存储 | 标准存储沉降低频存储 |
日志保存策略 | 标准存储保存180天 | 标准存储保存30天后，沉降到低频存储保存150天 |
写流量 | 691元（用量3.75TB） | 691元（用量3.75TB） |
标准索引流量 | 10752元（用量30TB） | 10752元（用量30TB） |
标准日志存储 | 7949元（用量675TB） | 1325元（用量112.5TB） |
标准索引存储 | 63590元（用量5400TB） | 10598元（用量900TB） |
低频日志存储 | - | 1440元（用量562.5TB） |
低频索引存储 | - | 11520元（用量4500TB） |
其他费用 | 极少 | 极少 |
总价（每月） | 82982元 | 36326元（下降56%） |
如何修改日志沉降周期
日志沉降支持修改沉降周期，但是修改只对标准存储数据生效，已沉降到低频的数据不受影响。
例如：修改10天标准存储的日志主题为7天标准存储，3天低频存储。修改后，存量日志开始逐步从标准存储迁移到低频存储。迁移过程中，低频存储的数据占比逐渐增加，经过数天后达到策略预设的周期，如下图所示：
时间 | 操作 | 数据存储状态 |
2022年1月9日 12:00:00 | - | 10天标准 |
2022年1月10日 12:00:00 | 修改10天标准存储的日志主题为7天标准存储，3天低频存储 | 10天标准（开始迁移） |
2022年1月11日 12:00:00 | - | 9天标准，1天低频 |
2022年1月12日 12:00:00 | - | 8天标准，2天低频 |
2022年1月13日 12:00:00 | - | 7天标准，3天低频（达到策略修改后的周期） |
2022年1月14日 12:00:00 | - | 7天标准，3天低频 |
历史日志沉降到低频存储与投递到 COS 的场景对比
日志接入标准存储一段周期后（一般是几天到几周），需要将历史数据转存到成本更低的存储类型。此时用户可以依据场景选择沉降到低频存储或投递到 COS 做归档。
其中，沉降到低频会产生低频日志存储（按压缩后计算，为0.0025元/GB/天）、低频索引存储（0.0025/GB/天）费用；投递到 COS 会产生读流量费用（0.18元/GB）、COS 存储费用（例如 COS 标准存储，按压缩后计算，为0.0039元/GB）
例如：每天写入1TB 原始日志数据，标准存储30天后，做合规留存。压缩比 1:4，以广州地域定价为例：
场景一：标准存储 30 天后，再留存 30 天，索引占比 100%。（总计保存60天）
场景需求 | 功能 | 用量 | 单价 | 费用 | 总计费用 |
沉降到低频存储的方案 | 支持日志检索查询 不支持 SQL 分析、仪表盘、告警等能力 | 写流量：256GB/天 | 0.18元/GB | 写流量：46.08元/天 | 942.08元 |
| | 标准索引流量：1024GB/天 | 0.35元/GB | 标准索引流量：358.4元/天 | |
| | 标准索引存储：30720GB/天 | 0.0115元/GB | 标准索引存储：353.28元/天 | |
| | 标准日志存储：7680GB/天 | 0.0115元/GB | 标准日志存储：88.32元/天 | |
| | 低频索引存储：30720GB/天 | 0.0025元/GB | 低频索引存储：76.8元/天 | |
| | 低频日志存储：7680GB/天 | 0.0025元/GB | 低频日志存储：19.2元/天 | |
投递到 COS 标准存储的方案 | 不支持日志检索、SQL 分析等能力 | 写流量：256GB/天 | 0.18元/GB | 写流量：46.08元/天 | 922.112元 |
| | 标准索引流量：1024GB/天 | 0.35元/GB | 标准索引流量：358.4元/天 | |
| | 标准索引存储：30720GB/天 | 0.0115元/GB | 标准索引存储：353.28元/天 | |
| | 标准日志存储：7680GB/天 | 0.0115元/GB | 标准日志存储：88.32元/天 | |
| | 内网读流量（投递到 COS 产生的流量）：256GB/天 | 0.18元/GB | 内网读流量：46.08元/天 | |
| | COS 标准存储：7680GB/天 | 0.0039元/GB | COS 标准存储：29.952元/天 | |
场景二：标准存储 30 天后，再留存 150 天，索引占比 100%。（总计保存180天）
场景需求 | 功能 | 用量 | 单价 | 费用 | 总计费用 |
沉降到低频存储的方案 | 支持日志检索查询 不支持 SQL 分析、仪表盘、告警等能力 | 写流量：256GB/天 | 0.18 元/GB | 写流量：46.08元/天 | 1326.08元 |
| | 标准索引流量：1024GB/天 | 0.35 元/GB | 标准索引流量：358.4元/天 | |
| | 标准索引存储：30720GB/天 | 0.0115元/GB | 标准索引存储：353.28元/天 | |
| | 标准日志存储：7680GB/天 | 0.0115元/GB | 标准日志存储：88.32元/天 | |
| | 低频索引存储：153600GB/天 | 0.0025元/GB | 低频索引存储：384元/天 | |
| | 低频日志存储：38400GB/天 | 0.0025元/GB | 低频日志存储：96元/天 | |
投递到 COS 标准存储的方案 | 不支持日志检索、SQL 分析等能力 | 写流量：256GB/天 | 0.18元/GB | 写流量：46.08元/天 | 1041.92元 |
| | 标准索引流量：1024GB/天 | 0.35元/GB | 标准索引流量：358.4元/天 | |
| | 标准索引存储：30720GB/天 | 0.0115元/GB | 标准索引存储：353.28元/天 | |
| | 标准日志存储：7680GB/天 | 0.0115元/GB | 标准日志存储：88.32元/天 | |
| | 内网读流量（投递到 COS 产生的流量）：256GB/天 | 0.18元/GB | 内网读流量：46.08元/天 | |
| | COS 标准存储：38400GB/天 | 0.0039元/GB | COS 标准存储：149.76元/天 | |
场景三：标准存储 30 天后，再留存 150 天，索引占比 25%。（总计保存180天）
场景需求 | 功能 | 用量 | 单价 | 费用 | 总计费用 |
沉降到低频存储的方案 | 支持日志检索查询 不支持 SQL 分析、仪表盘、告警等能力 | 写流量：256GB/天 | 0.18元/GB | 写流量：46.08元/天 | 504.32元 |
| | 标准索引流量：256GB/天 | 0.35元/GB | 标准索引流量：89.6元/天 | |
| | 标准索引存储：7680GB/天 | 0.0115元/GB | 标准索引存储：88.32元/天 | |
| | 标准日志存储：7680GB/天 | 0.0115元/GB | 标准日志存储：88.32元/天 | |
| | 低频索引存储：38400GB/天 | 0.0025元/GB | 低频索引存储：96元/天 | |
| | 低频日志存储：38400GB/天 | 0.0025元/GB | 低频日志存储：96元/天 | |
投递到 COS 标准存储的方案 | 不支持日志检索、SQL 分析等能力 | 写流量：256GB/天 | 0.18元/GB | 写流量：46.08元/天 | 508.16元 |
| | 标准索引流量：256GB/天 | 0.35元/GB | 标准索引流量：89.6元/天 | |
| | 标准索引存储：7680GB/天 | 0.0115元/GB | 标准索引存储：88.32元/天 | |
| | 标准日志存储：7680GB/天 | 0.0115元/GB | 标准日志存储：88.32元/天 | |
| | 内网读流量（投递到 COS 产生的流量）：256GB/天 | 0.18元/GB | 内网读流量：46.08元/天 | |
| | COS 标准存储：38400GB/天 | 0.0039元/GB | COS 标准存储：149.76元/天 | |
