配置指南

API 文档

实时日志

最近更新时间:2021-12-22 15:02:16

功能介绍

腾讯云内容分发网络(CDN)实时日志服务:通过对 CDN 访问日志的实时采集与推送,实现对日志数据的快速检索与分析。您可通过 CDN 控制台一站式快捷接入,享受从日志采集、日志存储到日志检索等全方位稳定可靠的日志服务。

适用场景

通过访问日志数据实时地多维度查看 / 分析业务情况。

操作指南

登录 CDN 控制台,单击左侧目录的日志服务,上方 Tab 切换至实时日志,即可进入实时日志页面。

启用实时日志服务

为启用实时日志服务,请先开通 日志服务(CLS) 并授权 CDN 以创建免费的日志集

说明:

  • 建议您使用主账号启用服务,若为子账号或协作者,请参考 子账号或协作者开通实时日志的方法
  • 在您开通 CDN 实时日志服务时,CDN 会默认创建免费的日志集,用于承载 CDN 日志(一个地域对应一个日志集)
  • CDN 目前支持投递至上海,北京,成都,重庆,南京,广州和新加坡地域。我们正在计划支持更多地域,请关注产品动态。

创建日志主题

您可通过在日志集下创建日志主题,将目标加速域名的访问日志投递至 日志服务(CLS),启用实时日志服务。

注意:

  • 一个日志集下至多可创建500个日志主题。
  • 新建日志主题名称不可与现存日志主题名称相同。
  • 同一个日志主题下不可混选内容分发网络 CDN 与全站加速网络 ECDN 域名。
  • CDN 加速域名的中国境内日志仅支持投递至上海,北京,成都,重庆,南京,广州地域,中国境外日志仅支持投递至新加坡地域。
  • ECDN 暂不支持中国境外日志投递。

日志检索

日志检索支持多种类型的检索分析方式及图表分析形式,详细说明可见 日志检索

以日志主题为单元进行日志检索。选择您需要检索的日志主题,单击检索,进入日志检索页面。

管理日志主题和日志集

您可于 CDN 控制台管理创建的日志主题,单击操作栏的:

  • 管理:更新日志主题下绑定的域名列表
  • 停止:停止日志投递到日志主题。停止后,所有绑定该日志主题域名的日志将不再继续投递至该主题,已经投递的日志将会继续保留。
  • 启动:启动日志投递到日志主题。启动后,所有绑定该日志主题域名的日志将继续投递至该日志主题。
  • 删除:删除日志主题。删除后,所有该日志主题下绑定域名的日志将不再继续投递至该日志主题,已经投递的日志将会被全部清空。

您可后续通过 日志服务(CLS) 侧管理日志集等模块,如修改日志集名称。

实时日志字段说明

日志字段 原始日志类型 日志服务类型 说明
app_id Integer long 腾讯云账号 APPID
client_ip String text 客户端 IP
file_size Integer long 文件大小
hit String text 缓存 HIT / MISS,在 CDN 边缘节点命中、父节点命中均标记为 HIT
host String text 域名
http_code Integer long HTTP 状态码
isp String text 运营商
method String text HTTP Method
param String text URL 携带的参数
proto String text HTTP 协议标识
prov String text 运营商省份
referer String text Referer 信息,HTTP 来源地址
request_range String text Range 参数,请求范围
request_time Integer long 响应时间(毫秒),指节点从收到请求后响应所有回包再到客户端所花费的时间
remote_port String long 客户端与 CDN 节点建立连接的端口,若无则为 -
rsp_size Integer long 返回字节数
time Integer long 请求时间,UNIX 时间戳,单位为:秒。
ua String text User-Agent 信息
url String text 请求路径
uuid String text 请求的唯一标识
version Integer long CDN 实时日志版本

名词解释

日志集

日志集(Logset)是日志服务的项目管理单元,用于区分不同项目的日志,一个日志集对应一个项目或应用。CDN 日志集有以下基本属性信息:

  • 地域:日志集所属 地域
    说明:

    目前支持上海,北京,成都,重庆,南京,广州和新加坡地域。我们正在计划支持更多地域,请关注产品动态。

  • 日志集名称:日志集命名
  • 日志保留时间:当前日志集里数据的保存时间周期
  • 创建时间:日志集创建时间

日志主题

日志主题(Topic)是日志服务的基本管理单元,一个日志集可以包含多个日志主题。一个日志主题对应一类应用或服务,建议将不同机器上的同类日志收集到同一个日志主题中。例如,一个业务项目有三种日志:操作日志、应用程序日志、访问日志,每种类型可以创建一个日志主题。

日志服务系统以日志主题为单位,区分管理用户不同的日志数据,每个日志主题都可以配置不同的数据源、不同的索引规则和投递规则。因此,日志主题是日志服务配置、管理日志数据的基本单元,创建日志主题后需配置相关规则,才能如期有效地进行日志采集,并使用检索分析和投递等功能。

从场景功能上理解,日志主题主要提供:

  • 采集日志到日志主题。
  • 以日志主题为单元存储管理日志。
  • 以日志主题为单元检索分析日志。
  • 以日志主题为单元投递日志到其他平台。
  • 从日志主题下载、消费日志。
说明:

以上信息摘自日志服务(CLS)产品文档,请以日志服务(CLS)侧的说明为准。

常见问题

为什么我在日志服务(CLS)控制台里的一些日志集和日志主题在 CDN 控制台看不到?

因为 CDN 控制台仅支持和展示以 CDN 服务角色创建的日志信息,即专属 CDN 的实时日志服务,其他日志集及日志主题不会同步过来。

为什么我的实时日志检索不到数据,出现了丢数据的情况?

可能是因为您的日志数据量较大,但日志主题是单分区或关闭了自动分裂。创建日志主题时,分区数量默认为1 ,默认开启自动分裂。
建议您按照自己的日志量预估所需的分区,前往 日志服务(CLS) 在日志主题的高级选项里面配置,详细可参考 主题分区

我可以删除 CDN 的日志集吗?

可以,您需前往日志服务(CLS)控制台删除该日志集,删除前需先删除日志集下所有的日志主题。CDN 侧会同步此删除状态,若您后续有需要,可于 CDN 控制台重新创建日志集和日志主题。

目录