cdn日志分析进阶（awk）

Linux下建议安装个工具：aria2c（用于下载日志使用）

参考： https://www.jianshu.com/p/db2f3dd162f1

第二种下载日志方法： vim url.list for i in `cat url.list` ;do wget "$i" -O $(echo $i|awk -F"/" '{print $4$5".gz"}');done

日志分析可以协助查看，访问的具体资源状态，clientip访问情况，指定状态码的访问查询，缓存命中情况查看。

1、 查看访问次数较多的文件信息：

zcat *.gz|awk '{print $2,$4}'|sort|uniq -c|sort -rn

2、查看访问404的client ip信息和具体文件：

zcat *.gz|awk '{if ($8==404) {print $2,$4}}'| sort | uniq -c | sort -rn

3、查看访问miss状态的文件信息，client ip，状态码信息：

zcat *.gz | awk '{if ($NF="miss"){print $2,$4,$8}}'|sort|uniq -c|sort -rn

4、查看访问次数最多的client ip信息：

zcat *.gz | awk '{print $2}'|sort|uniq -c|sort -rn

5、指定文件：/index.php/45.html的访问日志

zcat *.gz | awk '{if ($4=="/index.php/45.html") print $2,$4}'