专栏首页johnnyxsu技术交流分享CDN访问日志分析工具
原创

CDN访问日志分析工具

在日常使用CDN的过程中,我们会遇到各种异常的访问情况,通过查看监控信息能够获取到一些基本的信息,但是想要细致的了解访问的真实情况,往往就需要下载访问日志进行分析。访问日志格式虽然固定,但是如果遇到访问量比较大的域名,阅读日志就是一个很漫长而又辛苦的过程,需要自己编写脚本实现日志的过滤。本文提供一套平时自己使用的日志过滤工具,可以简单快捷的对访问日志进行过滤,进而简化工作效率。

在对工具展开详细介绍之前,先简单介绍CDN的访问日志格式,具体的信息如下:

日志中对应的字段顺序(从左到右)及含义如下表所示:

顺序

日志内容

1

请求时间。

2

访问域名的客户端 IP。

3

被访问的域名。

4

文件请求路径。

5

本次访问字节数大小,包含文件本身大小及请求 header 头部大小,其中请求 header 是否命中,以及是在本节点或集群命中等都有可能会影响到字节数大小。

6

省份(省份编号映射请详见下文 省份映射)。

7

运营商(运营商编号映射请详见下文 运营商映射)。

8

HTTP 状态码。

9

Referer 信息。

10

响应时间(毫秒)。

11

User-Agent 信息。

12

Range 参数。

13

HTTP Method。

14

HTTP协议标识。

15

缓存 HIT/MISS。

具体的日志详细字段的解释说明以及下载方法可以参见 https://cloud.tencent.com/document/product/228/6316

日志分析工具介绍

下载日志可以直接访问 github 进行下载或者直接在Linux运行如下命令进行下载 git clone https://github.com/suxin1110/CDNClientLog.git 目前已近有如下分析内容,会不定期跟新: 1. 统计日志状态码

2. 请求命中率

3. 统计特定状态码对应访问URL

4. 统计特定状态码对应访问URL(去除参数)

5. 统计特定状态码对应Refere

6. 统计特定状态码对应客户端IP

7. 统计特定状态码对应的前N行日志

8. 统计特定客户端IP访问日志

下载后有一个clog.sh文件,该文件为CDN日志分析的简单shell脚本文件。

将CDN的访问日志下载下起来,方便起见可以将clog.sh和访问日志存放在一个文件夹下。CDN访问日志模式下载下来就会做gz压缩,运行该脚本不需要将CDN日志进行解压操作。脚本运行方法非常简单,具体如下: sh clog.sh CDNClientLogFileName.gz

脚本运行界面展示

脚本提供几个简单的日志过滤选择,按照需求选择需要的过滤方法。

1.统计日志状态码 选择1后,会直接进行日志状态码的分析并将分析的结果打印出来。

统计日志状态码

2.请求命中率

选择2后,会直接进行请求命中率的统计界面,展示信息如下:

请求命中率

3.统计特定状态码访问的url,在输入选项后需要输入对应的状态码。

统计特定状态码访问的url

其他日志过滤方法可以参考步骤3,后续还会继续跟新该脚本。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python分析nginx访问日志

    Web服务器的各种系统管理工作包括了多Nginx/Apache 日志的统计,python使这个任务变得极其简单,下面分享两个小脚本。

    py3study
  • GoAccess日志分析工具

    GoAccess是一个非常良心的开源软件,它的良心之处体现在如下方面: 1)安装简单; 2)操作容易; 3)界面酷炫; GoAccess 官网 http...

    惨绿少年
  • goaccess日志分析工具

    GoAccess 是一款开源的且具有交互视图界面的实时 Web 日志分析工具,通过你的 Web 浏览器或者 *nix 系统下的终端程序(terminal)即可访...

    行 者
  • CDN日志实时分析

    CDN(Content Delivery Network),内容分发网络)是互联网网站、应用上极其重要的基础设施,通过CDN,终端用户可直接从边缘节点访问各种图...

    用户1263954
  • [喵咪Liunx(6)]Nginx日志分析工具goaccess

    [喵咪Liunx(6)]Nginx日志分析工具goaccess #w-blog博客 ? 前言 哈喽大家好呀!真是好久不见了,说来有些惭愧,离上一次发布博客已经是...

    喵了个咪233
  • 【转】gc日志分析工具

    性能测试排查定位问题,分析调优过程中,会遇到要分析gc日志,人肉分析gc日志有时比较困难,相关图形化或命令行工具可以有效地帮助辅助分析。

    流柯
  • 云数据备份 | CDN 日志备份最佳实践

    内容分发网络(Content Delivery Network,CDN),是在现有 Internet 中增加的一层新的网络架构,可以有效降低用户访问延迟,提升可...

    云存储
  • cdn日志分析进阶(awk)

    参考: https://www.jianshu.com/p/db2f3dd162f1

    杜志强
  • 【日志服务CLS】Nginx 访问日志检索、分析示例

    看到小编鼓励作者写连载,趁着截稿日期延长并且还有Apple Watch大奖的诱惑就又有动力再肝一篇出来了 2333……

    远哥制造
  • Nginx 不受 CDN 服务影响获取访客真实 IP

    获取和记录站点访客的真实 IP 对于站点日志的分析和安全策略的指定很有帮助,Nginx 默认的日志记录获取到的 IP 地址如果站点启用了 CDN 服务,那么这里...

    明月云服务
  • CDN日志实时分析的作用?日志分析的好处是什么?

    Cdn服务器在网络上承担着为用户网站访问加速的作用,并且加速的应用也非常的广泛,因此目前这种加速服务器在互联网中有着非常重要的价值,因此通常cdn服务器都需要进...

    用户8715145
  • 日志分析工具logParser的使用

    ——本文来自阿雷头

    用户2202688
  • 可视化GC日志分析工具

    GC Easy是一款在线的可视化工具,易用、功能强大,网站:http://gceasy.io/

    java干货
  • CDN访问日志质量性能监控与运营统计分析最佳实践

    CDN是非常重要的互联网基础设施,用户可以通过CDN,快速的访问网络中各种图片,视频等资源。在访问过程中,CDN会产生大量的日志数据,通过对CDN访问日志的分析...

    日志服务CLS小助手
  • WEB访问日志自动化分析浅谈

    最近经常需要分析WEB访问日志,从中发现非法请求,然后做相应安全检查,为了方便,所以写了一个日志分析平台,支持提交iis,apapche,tomcat,ngni...

    C4rpeDime
  • 性能测试之nginx访问日志分析

      简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

    周辰晨
  • nginx(tengine)访问日志分片

    nginx日志按天分片是运维的基本要求,不仅可以减小文件大小,方便检索关键数据,也可以定时删除过期的日志。可是nginx和tengine默认并不支持文件分片,因...

    欲休
  • 巧妙运用Excel分析CDN日志

    cdn访问日志下载下来解压后是以域名结尾的,在windows下.com是可执行文件,实际上cdn日志是文本文件,不论它后缀名变为.exe还是.png它都是文本文...

    杜志强
  • 网站日志分析完整实践

    分析网站日志可以帮助我们了解用户地域信息,统计用户行为,发现网站缺陷。操作会面临几个问题

    震八方紫面昆仑侠

扫码关注云+社区

领取腾讯云代金券