专栏首页最肯忘却CDN日志过滤方法
原创

CDN日志过滤方法

CDN日志往往记录较大,单纯使用grep和cat无法彻底进行统计分析,这种情况下可以使用zcat和awk来进行

日志格式

腾讯云官方给出的回源日志格式如下:

请求时间、客户端IP、访问域名、文件路径、字节数、省份编码、运营商编码、HTTP状态码、referer、Request-Time、UA、range、HTTP Method、协议标识、缓存HIT/MISS

Zcat使用方法

Zcat可以直接对gz格式的文件进行查看分析,并且进行过滤,日志大部分都是常用方法如下:

-S:指定gzip格式的压缩包的后缀。当后缀不是标准压缩包后缀时使用此选项; -c:将文件内容写到标注输出; -d:执行解压缩操作; -l:显示压缩包中文件的列表; -L:显示软件许可信息; -q:禁用警告信息; -r:在目录上执行递归操作; -t:测试压缩文件的完整性; -V:显示指令的版本信息; -l:更快的压缩速度; -9:更高的压缩比。

Awk筛选

1、查看访问次数较多的文件信息,并排序: zcat *.gz|awk ‘{print $2,$4}’|sort|uniq -c|sort -rn

2、查看访问404的client ip信息和具体文件: zcat *.gz|awk ‘{if ($8==404) {print $2,$4}}’| sort | uniq -c | sort -rn

3、查看访问miss状态的文件信息,client ip,状态码信息: zcat *.gz | awk ‘{if ($NF=”miss”){print $2,$4,$8}}’|sort|uniq -c|sort -rn

4、查看访问次数最多的client ip信息: zcat *.gz | awk ‘{print $2}’|sort|uniq -c|sort -rn

5、指定文件路径:/index.php/45.html的访问日志 zcat *.gz | awk ‘{if ($4==”/index.php/45.html”) print $2,$4}’

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • curl测试CDN节点的使用方法

    -I Show document info only 只展示headers,发起HEAD请求 -o Write output to file instead o...

    古人诗
  • 控制台VNC登录方式

    近期由于腾讯更新了VNC登录方式的位置,隐藏的已经没有以前那么升了,如果您的服务器遭遇了灾难性的问题导致无法远程,您可通过VNC机型登录您的服务器进行紧急修复。

    古人诗
  • Docker简单入门

    以下所有学习均使用腾讯云官方镜像Centos7.8,安装后无任何额外安装。***.com域名解析为我服务器的ip,后续不进行解释。

    古人诗
  • Ubuntu 备份与恢复

    我们的目标是备份/目录,但是不备份/home, 以及/proc, /sys, /mnt, /media, /run, /dev 要实现这一点,执行下列命令

    JNingWei
  • PHP中on回调的实现(十六节)

    各位好,我是老李。和老李一同完成《PHP网络编程》,虽然我知道实际上从头到尾可能只有我一个人在搞。我告诉你们一定要好好在家好好学习、远程工作,不要折腾地自己最后...

    老李秀
  • 玩转 PHP 网络编程全套之数据接收与发送

    它是一个复杂的协议族,但是经过层层封装之后转换为网络数据帧经过网卡发送出去的,当然在发送之前会先发起一次ARP请求查询一下对方的mac物理地址,对方响应后返回以...

    桶哥
  • python socket编程(传输字符

    socket官方文档:https://docs.python.org/2/library/socket.html

    py3study
  • 基于TCP协议的套接字编程

    Socket是应用层与TCP/IP协议族通信的中间软件抽象层,它是一组接口。在设计模式中,Socket其实就是一个门面模式,它把复杂的TCP/IP协议族隐藏在S...

    小小咸鱼YwY
  • [PHP] 使用Socket提供Http服务

    https://github.com/taoshihan1991/simpleloader

    陶士涵
  • Flash/Flex学习笔记(26):AS3自定义右键菜单

    直接上代码吧,关键地方都加上注释了: var cm:ContextMenu=new ContextMenu(); cm.hideBuiltInItems();/...

    菩提树下的杨过

扫码关注云+社区

领取腾讯云代金券