shell日志分析进阶篇
前面我们说了shell分析日志常用指令，现在我们随ytkah一起看看shell日志分析进阶篇，假设日志文件为ytkah.log
//统计不重复抓取数量
cat ytkah.log | awk '{print $4}'|sort|uniq|wc -l//统计所有状态码数量
awk '{print $10}' ytkah.log |sort|uniq -c//统计某个目录抓取次数
grep "/shop" ytkah.log | awk '{print $4}' |sort |wc –l//统计各个目录出现404响应码次数
cat ytkah.log |awk 'BEGIN{FS="/| "} {if($(NF-2)==404){print $5,$(NF-2)}}' |sort|uniq -c | sort -r//统计404页面的抓取数量
awk '{if($10=="404"){print $0}}' ytkah.log|sort|uniq|wc -l//统计每个ip下对应URL的抓取次数
awk '{print $6,$4}' ytkah.log |sort|uniq –c//提取百度蜘蛛访问数量前10的网站目录及访问次数，并按降序排列
awk '{print $4}' ytkah.log |grep -P "[^/(a-zA-Z)|^/(a-zA-Z)/]"|awk -F"/" '{print $2}'|sort|uniq -c|sort -r|head -10//提取某个目录百度蛛蛛访问次数
cat ytkah.log | grep "/shop/"| wc –l
cat ytkah.log |awk '{print $4}' |grep "/shop/" |wc –l
cat ytkah.log |awk '{print $4} |awk –F"/" '{print $2}'|grep "shop"|wc -l//统计首页抓取的次数占总体抓取次数比率
cat ytkah.log |awk '{print $4}'|awk '{if($0=="/"){n=n+1}}END{print n/NR*100"%"}'//统计404响应码占总响应码比率
cat ytkah.log |awk '{print $10}'|awk '{if($0=="404"){n=n+1}}END{print n/NR*100"%"}'//计算百度抓取总时间与总抓取次数
cat ytkah.log|awk '{FS=" "} {print $2}'|awk -F":" '{print $2}'| sort |uniq -c|awk 'BEGIN{print "小时","次数"} {print $2,$1}'|awk '{for(n=0;n<5;n++){b=$2}} {a+=b} {print $0}END{print "总数"b,a}'//计算百度抓取总字节数
cat ytkah.log |awk '{print $11}'|awk 'BEGIN{total=0}{total+=$1}END{print total}'//计算平均每次每个网页抓取字节数（小数点后面大于5进1）
cat ytkah.log |awk '{print $11}'|awk 'BEGIN{total=0}{total+=$1}END{print total/NR}'本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2018-12-07 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。