首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >cdn日志分析进阶(awk)

cdn日志分析进阶(awk)

原创
作者头像
杜志强
修改2019-05-29 18:16:16
2.4K0
修改2019-05-29 18:16:16
举报
文章被收录于专栏:Mr_duMr_du

Linux下建议安装个工具:aria2c(用于下载日志使用)

参考: https://www.jianshu.com/p/db2f3dd162f1

第二种下载日志方法: vim url.list for i in `cat url.list` ;do wget "$i" -O $(echo $i|awk -F"/" '{print $4$5".gz"}');done


日志分析可以协助查看,访问的具体资源状态,clientip访问情况,指定状态码的访问查询,缓存命中情况查看。

1、 查看访问次数较多的文件信息:

zcat *.gz|awk '{print $2,$4}'|sort|uniq -c|sort -rn

2、查看访问404的client ip信息和具体文件:

zcat *.gz|awk '{if ($8==404) {print $2,$4}}'| sort | uniq -c | sort -rn

3、查看访问miss状态的文件信息,client ip,状态码信息:

zcat *.gz | awk '{if ($NF="miss"){print $2,$4,$8}}'|sort|uniq -c|sort -rn

4、查看访问次数最多的client ip信息:

zcat *.gz | awk '{print $2}'|sort|uniq -c|sort -rn

5、指定文件:/index.php/45.html的访问日志

zcat *.gz | awk '{if ($4=="/index.php/45.html") print $2,$4}'

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档