控制台指南

最佳实践

开发者指南

API 文档

SDK 文档

CLS 日志备份

最近更新时间:2022-06-17 14:09:28

简介

CLS 日志备份是腾讯云对象存储(Cloud Object Storage,COS)基于 云函数(Serverless Cloud Function,SCF) 为用户提供的将日志服务(Cloud Log Service,CLS)日志转存至 COS 的功能。

用户在指定存储桶配置了日志备份规则后,云函数会按照一定的时间粒度获取 CLS 日志并转存至 COS 存储桶中。

CLS 日志备份可以打通产品生态下游链路,将日志数据投递到 COS 中,进一步满足日志备份场景的需求,挖掘日志数据价值。日志备份为异步过程,当日志数据产生后,SCF 会通过触发器将数据自动备份到 COS 中进行存储。

注意事项

  • 若您此前在对象存储控制台上为存储桶添加了 CLS 日志备份规则,可以在 云函数控制台 上看到您所创建的 CLS 日志备份函数,请不要删除该函数,否则可能导致您的规则不生效。
  • 已上线云函数的地域均已支持 CLS 日志备份至 COS,包括有广州、上海、北京、香港、成都、新加坡、孟买、多伦多、硅谷等,更多支持地域可查看 云函数产品文档

操作步骤

  1. 登录 对象存储控制台
  2. 在左侧导航中,单击应用集成 > 数据备份,找到 CLS 日志备份
  3. 单击配置备份规则,进入规则配置页面。
  4. 单击添加函数
    注意:

    如果您尚未开通云函数服务,请前往 云函数控制台 开通云函数服务,按照提示完成服务授权即可。

  5. 在弹出的窗口中,配置如下信息:
    • 函数名称:作为函数的唯一标识名称,创建后不可修改。您可以在 云函数控制台 上查看该函数。
    • 关联存储桶:存放 CLS 日志文件的 COS 存储桶。
    • 日志集日志集 是日志服务的项目管理单元,用于区分不同项目的日志。您可以选择消息来源的日志集,该日志集必须位于函数所在地域。
    • 日志主题:日志主题(Topic)是日志服务的基本管理单元,日志主题也是管理配置日志服务触发器的最小单元,一个日志集可以包含多个日志主题。您可以选择消息来源的日志主题。
    • 最长等待时间:您可以通过设置等待时间来控制获取日志的频率,支持配置3 - 300秒。假设您设置最长等待时间为300秒,那么意味着 SCF 将收集300秒内的日志数据,集中打包为日志文件进行备份。
    • SCF 授权:CLS 日志备份需要授权云函数从您的 CLS 服务中读取日志,并将日志转存至您指定的存储桶中。因此需要添加此授权。
  6. 单击下一步,配置如下信息:
    • 压缩配置:您可以选择是否对日志进行压缩后备份,最大支持压缩后128KB的日志。目前支持的压缩方式有 gzip、lzop、snappy。
    • 分区格式:按照 strftime 的语法自动生成目录,例如分区格式为 %Y/%m/%d/%Y%m%d%H%M,生成的目录为 2021/06/25/202106252232。
    • 目录前缀:日志的备份路径,可选择备份至根目录或指定的路径前缀。
    • 投递文件样例:最终备份的文件名格式为{COS 存储桶}{目录前缀}{分区格式}_{random}.{type}
  7. 添加配置后,单击确认,等待 CLS 日志备份规则创建完成。创建完成后,可在列表页中查看已创建的 CLS 日志备份规则。
    img
    您可以对新创建的 CLS 日志备份规则进行如下操作:
    • 单击日志,查看 CLS 日志备份的历史运行情况。当备份出现报错时,您还可以通过单击日志,快速跳转到云函数控制台查看日志错误详情。
    • 单击更多 > 编辑,修改 CLS 日志备份规则。
    • 单击更多 > 删除,删除不使用的 CLS 日志备份规则。
目录