用 shell 统计分析服务器日志

需求背景

为了解服务器真实的访问情况,随机抽查统计Apache日访问日志。

了解清楚访问情况,为系统的设计及优化提供目标,比如真实的单秒并发为300,在对功能进行测试时,就要求最低能达到的并发为300,只要低于这个数,都必须进行优化。

在条件允许的情况下,还必须要提高10%到20%,以适应业务的增长。

本文先把要统计的指标列出,然后使用shell命令把结果查出显示,最后会把所用到的脚本命令进行说明。

统计的指标如下:

1秒最高并发时间及并发数

1分钟最高并发时间及并发数

1小时最高并发时间及并发数

接口最高并发数及时间

请求最多次数接口及请求次数

最多请求的接口最高并发数及时间

独立ip统计

访问量统计

请求次数最高链接Top50

所用到的shell命令如下:

cut: 用于减小日志文件的体积,只留下我们关心的列

sort: 用于排序

unqi: 用于去重及数量统计

head: 配合sort用于top50这样的统计

grep: 搜索过滤

wc : 文件内容统计,一般用来统计内容行数

1秒最高并发时间及并发数

1分钟最高并发时间及并发数

1小时最高并发时间及并发数

接口最高并发数及时间

请求最多次数接口及请求次数

最多请求的接口最高并发数及时间

独立ip统计

访问量统计

请求次数最高链接Top50

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181102G0RY5B00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券