前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >解锁数据价值:对象存储 COS 支持日志检索与分析功能

解锁数据价值:对象存储 COS 支持日志检索与分析功能

作者头像
日志服务CLS小助手
发布2024-03-25 15:46:15
640
发布2024-03-25 15:46:15
举报
文章被收录于专栏:日志服务CLS日志服务CLS

前言

腾讯云对象存储服务(COS)一直致力于为用户提供高效、安全、便捷的云存储服务。但是,当数据流动如同星辰大海,如何捕捉那些关键的瞬间,洞察每一次访问背后的故事?现在,由日志服务 CLS 提供的 COS 日志检索与分析功能、可以帮助您实时追踪和记录每一次数据访问,无论是深夜的异常访问,还是高峰时段的流量洪峰,都能为您提供实时、深入的洞察分析。

本文将通过两个实际场景,展示日志检索与分析功能如何具体帮助您解决实际问题,提升数据管理的透明度和响应速度。

场景案例

案例一:查询TOP50的访问量IP(https://cloud.tencent.com/document/product/436/104048#case1)

背景:网络管理员小李在某电子商务公司工作,日常工作是负责有效地监控和分析网站流量,确保网站的稳定性和安全性。

对话记录

案例二:某个文件访问不了,定位原因(https://cloud.tencent.com/document/product/436/104048#case4)

背景:小王是一家在线教育平台的技术经理,他的团队负责维护一个广受欢迎的在线课程网站。该网站依赖于腾讯云的对象存储服务(COS)来存储和提供课程视频等多媒体内容。

对话记录

总结

通过上述实际案例,我们可以看到腾讯云“COS日志检索与分析”能力,能够记录存储桶相关的各种请求日志,并实现对日志数据的实时检索与分析。进一步帮助客户完成异常事件回溯和问题定位等工作。

操作指引

下面分别为您介绍“输入检索分析语句”和“查看日志检索结果、统计分析结果”的操作步骤。更多操作指引和常用示例请参见 设置日志检索(https://cloud.tencent.com/document/product/436/104048)。

输入检索分析语句

检索分析语句由检索条件 SQL 语句组成,输入检索分析语句,对访问日志进行检索和统计分析。

  • 检索条件:指定日志需要匹配的条件,返回符合该条件的日志。例如使用status:404检索响应状态码为404的应用请求日志。检索条件为空或*时代表无检索条件,即所有日志。更多语法规则和示例信息请参见 检索条件语法。
  • SQL 语句:针对符合检索条件的日志进行统计分析,返回统计分析结果。例如使用status:404 | select count(*) as logCounts统计响应状态码为404的日志数量。更多语法使用和示例信息请参见 SQL语句语法。

一、在日志检索页面,选择检索分析语句输入模式,支持交互模式、语句模式两种。

  • 交互模式:通过鼠标点击指定检索条件及统计分析规则,自动生成检索分析语句,易用性高。
  • 语句模式:直接输入检索分析语句,需符合语法规则,灵活度高。

二、若您需要切换语法规则,可单击下拉选择语法规则,进行切换。支持 CQL 和 Lucene,更多语法规则和示例信息请参见 检索条件语法(https://cloud.tencent.com/document/product/614/47044#RetrievesConditionalRules)。

三、输入检索分析语句,选择时间范围,单击搜索按钮即可检索该存储桶上报到 CLS 的访问日志。

查看日志检索结果、统计分析结果

检索成功后,在日志检索页面可查看访问日志的检索结果、统计分析结果。分别对应原始日志和统计图表,支持快捷切换。详细说明如下:

  • 原始日志:当检索分析语句仅包含检索条件时,可在原始日志中查看匹配检索条件的日志,默认按日志时间倒排。
  • 统计图表:当检索分析语句包含 SQL 语句时,可在统计图表中查看分析结果,同时还可在原始日志中查看符合检索条件的日志,以便于对比分析统计结果及原始日志。

原始日志

1、支持查看当前检索条件下,指定时间范围内的日志统计情况,以柱状图展示。

2、默认以原始形式展示日志数据,支持自定义配置。

3、日志数据下仅展示“显示字段”,若您希望查看更多或者隐藏日志对应的字段信息,可通过下述三种方式实现:

  • 列表操作:在原始日志下,左侧面板快速找到该字段,单击显示隐藏即可完成配置。
  • 日志详情:展开某条日志查看详情,单击查看图标,即可快速隐藏或者显示某字段。针对每条日志,您还可以查看 JSON 格式的数据,并支持一键复制。除此之外,单击字段值还可以进行自定义跳转,详情参见 自定义跳转(https://cloud.tencent.com/document/product/614/90429)。
  • 版面配置:单击右侧“版面:默认配置”,选择管理配置。您可以批量设置显示字段,单击应用即可完成配置。

统计图表

统计图表默认以表格类型展示分析结果,您可以通过右侧的“图表配置”自定义设置图表类型和相关信息。若要进一步对存储桶访问日志进行可视化与告警的配置, 请前往 CLS控制台(https://console.cloud.tencent.com/cls)。

下期预告:日志服务 CLS 现已支持 “投递日志至 COS 时、指定其存储类型”,包括标准存储、低频存储、智能分层存储、归档存储和深度归档存储等,我们将在下一期文章中详细介绍,敬请期待。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2024-03-20,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 云原生日志服务CLS 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 腾讯云对象存储服务(COS)一直致力于为用户提供高效、安全、便捷的云存储服务。但是,当数据流动如同星辰大海,如何捕捉那些关键的瞬间,洞察每一次访问背后的故事?现在,由日志服务 CLS 提供的 COS 日志检索与分析功能、可以帮助您实时追踪和记录每一次数据访问,无论是深夜的异常访问,还是高峰时段的流量洪峰,都能为您提供实时、深入的洞察分析。
  • 本文将通过两个实际场景,展示日志检索与分析功能如何具体帮助您解决实际问题,提升数据管理的透明度和响应速度。
    • 案例一:查询TOP50的访问量IP(https://cloud.tencent.com/document/product/436/104048#case1)
      • 案例二:某个文件访问不了,定位原因(https://cloud.tencent.com/document/product/436/104048#case4)
        • 输入检索分析语句
          • 查看日志检索结果、统计分析结果
            • 原始日志
            • 统计图表
        相关产品与服务
        对象存储
        对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档