专栏首页日志服务CLS【日志服务CLS】Nginx 访问日志检索、分析示例
原创

【日志服务CLS】Nginx 访问日志检索、分析示例

0x01.前言

看到小编鼓励作者写连载,趁着截稿日期延长并且还有Apple Watch大奖的诱惑就又有动力再肝一篇出来了 2333……

0x02.再看日志检索

想要检索自然需要提前知道都有哪些字段,这里针对所有的键依次进行说明

键值索引

No.

字段名称

字段含义

1

remote_addr

客户端 IP 地址

2

remote_user

客户端名称

3

time_local

服务器本地时间

4

request_method

HTTP 请求方法

5

request_url

URL 地址

6

status

HTTP 请求状态码

7

body_bytes_sent

发送给客户端的字节数

8

http_referer

访问来源的页面链接地址

9

http_user_agent

客户端浏览器信息

10

http_x_forwarded_for

当前端有代理服务器时,追踪记录客户端真实 IP 地址的配置

11

LogParseFailure

解析失败日志的键

了解完全部字段后废话不多说,接下来直接去控制台进行操作

1,键值检索

举个例子,指定客户端地址

remote_addr : "101.89.43.238" 
remote_addr

同理的用法均可用于其他字段

remote_user : "-" 
time_local : "22/May/2021:20:41:56" 
request_method : "GET" 
request_uri : "/" 
status : 200 
body_bytes_sent : 348 
http_referer : "-" 
http_user_agent : "DNSPod-Monitor/2.0" 
http_x_forwarded_for : "-" 

2,键值大小搜索

举个例子,状态码大于 400

status :>400 
大小

相似的操作符还有

:> 大于某个数值
:< 小于某个数值
:>= 大于等于某个数值
:<= 小于等于某个数值

3,键值范围搜索

举个例子,检索4XX状态码的日志

status:[400 TO 500}
范围

4,键值模糊搜索

举个例子,检索UA中含有baidu的日志

http_user_agent : *baidu*
模糊搜索

5,etc...

还有很多就不一一介绍了,同时上述操作符还可以叠加使用

举个例子,GET请求并且状态码大于400

request_method:GET AND status:>400
AND

0x03.再看日志分析

分析语句由检索条件和 SQL 语句组成,两者通过竖线(|)分割

[检索条件] | [SQL 语句]

摘自文档中最简单的两个示例

无检索条件,计算访问次数 PV 值
* | select count(*) as pv
pv
有检索条件,统计状态码为 404 的访问次数 PV 值
status:404 | select count(*) as pv
pv(404)

文档中还有更多的示例,Nginx 访问日志分析案例

尝试第一个 SQL 分析示例,但是没有成功检索

带宽曲线图

* | select HISTOGRAM(CAST(msec*1000 AS TIMESTAMP), INTERVAL 1 MINUTE) AS dt, round(SUM(body_bytes_sent)*8/1000.0, 2) AS "带宽(Kb/min)" group by dt order by dt limit 50
运行失败?

这里需要调查需要如何修改才能正确查询

0x04.后记

可见不论检索还是分析都非常强大,可以说满足99%的查询需求了

不管是能想到的还是想不到的查询语句它都能提供,这也是底层Lucene所带来的魅力之一了

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【日志服务CLS】Nginx 访问日志接入腾讯云日志服务

    日志服务(Cloud Log Service,CLS)是腾讯云提供的一站式日志服务平台,提供了从日志采集、日志存储到日志检索,图表分析、监控告警、日志投递等多项...

    远哥制造
  • 腾讯云日志服务CLS征文活动名单公布!🔥

    腾讯云日志服务CLS举办的日志服务CLS体验征文活动发起后,吸引了许多云+社区作者和行业专业人士的关注与参与,发表了众多产品业务使用场景实践案例、日志服务产品初...

    日志服务CLS小助手
  • 腾讯云CLS产品应用

    *LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进...

    来自青铜段位的咸鱼
  • 业务上云使用腾讯云日志服务方案

    日志服务(Cloud Log Service,下文简称CLS服务)是腾讯云提供的一站式日志数据解决方案,可以快速便捷的接入,享受日志采集、日志存储到日志内容搜索...

    覃春善
  • 腾讯云CLS日志服务应用

    *LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进...

    来自青铜段位的咸鱼
  • 【日志服务CLS】配置使用 Nginx 访问日志中的原始时间戳

    针对于上一篇文章【日志服务CLS】Nginx 访问日志接入腾讯云日志服务中结尾提到的问题,晚上又去控制台仔细看了一篇,发现其实是有设置项的,只不过默认是关闭的状...

    远哥制造
  • 【日志服务CLS】腾讯云CLS日志服务初体验

    作为一个服务器小白来说,以入门的视角,简单的方式来看腾讯云的CLS日志服务。本文就来分享一下关于使用CLS日志服务的初体验。

    三掌柜
  • 【日志服务CLS】初识腾讯 CLS 高速检索与 Nginx 预报警服务~

    和尚虽然是移动端开发,但对于 Nginx 负载均衡稍稍有些了解,而曾经的毕业论文就是以 Nginx 为研究方向进行的,今天根据 腾讯云+社区 活动,简单尝试一下...

    阿策小和尚
  • python分析nginx访问日志

    Web服务器的各种系统管理工作包括了多Nginx/Apache 日志的统计,python使这个任务变得极其简单,下面分享两个小脚本。

    py3study
  • TKE容器服务结合日志服务进行使用详解

    日志采集功能是容器服务为用户提供的集群内日志采集工具,可以将集群内服务或集群节点特定路径文件的日志发送至 Kafka、Elasticsearch 或者 腾讯云日...

    pengsiryan
  • 【日志服务CLS】腾讯云日志服务CLS尝鲜

    腾讯云产品有很多的分类,一般有一级大类和二级分类,其中,日志服务CLS是作为大类“存储”中的“数据处理与分析”类别下。如果我们想体验CLS服务,可以从下图的这个...

    liuzhen007
  • 基于腾讯云CLS统计分析nginx的access.log

    很多个人站长在搭建网站时使用nginx作为服务器,为了了解网站的访问情况,一般有两种手段:

    Vicwan
  • 如何使用 K8s 两大利器"审计"和"事件"帮你摆脱运维困境?

    张鹏,腾讯云容器产品工程师,拥有多年云原生项目开发落地经验。目前主要负责腾讯云容器服务 TKE 集群和运维中心开发工作。 概述 下面几个问题,相信广大 K8s...

    腾讯云原生
  • 【日志服务CLS】HTTP code 304引申出来的故事

    公司开发环境内部开发。路由器做了设置只允许访问特定资源网站。自从做了限制后内网隔离网络环境出现特定资源pending现象。一直也没有做深入的研究。因为同一内网v...

    对你无可奈何
  • TKE集群日志解决方案之日志采集

    当前技术领域容器盛行,已然是一个云原生的时代, 在技术领域都或多或少跟云计算、容器、Kubernetes、云原生应用有着不同的渊源。云原生的技术变更带来了革命性...

    朱瑞卿
  • 【日志服务CLS】腾讯云日志服务CLS接入内容分发网络CDN

    上面描述的功能看起来很多,但初次体验可能还是一头雾水。不过跟着官方控制台和文档指引进行操作,上手起来还是很轻松的。

    喵喵侠
  • 【日志服务CLS】腾讯云日志服务CLS接入内容分发网络CDN

    上面描述的功能看起来很多,但初次体验可能还是一头雾水。不过跟着官方控制台和文档指引进行操作,上手起来还是很轻松的。

    喵喵侠
  • CLB日志核心的玩法你Get到了吗?

    CLB日志还有类型?当然CLB维护着千亿QPS的网关产品,精细化运营管理还是很齐全的。

    tinkerli
  • CDN(直播)日志实时分析解决方案 免费内测开放

    CDN日志实时分析解决方案 免费内测正式开放。 想对该解决方案有更深入的了解吗? 看小编分解↓↓↓ 快速了解CDN日志实时分析解决方案 方案简介 通过对CDN...

    腾讯云音视频

扫码关注云+社区

领取腾讯云代金券