用 shell 统计分析服务器日志

需求背景

为了解服务器真实的访问情况，随机抽查统计Apache日访问日志。

了解清楚访问情况，为系统的设计及优化提供目标，比如真实的单秒并发为300，在对功能进行测试时，就要求最低能达到的并发为300，只要低于这个数，都必须进行优化。

在条件允许的情况下，还必须要提高10%到20%,以适应业务的增长。

本文先把要统计的指标列出，然后使用shell命令把结果查出显示，最后会把所用到的脚本命令进行说明。

统计的指标如下:

1秒最高并发时间及并发数

1分钟最高并发时间及并发数

1小时最高并发时间及并发数

接口最高并发数及时间

请求最多次数接口及请求次数

最多请求的接口最高并发数及时间

独立ip统计

访问量统计

请求次数最高链接Top50

所用到的shell命令如下：

cut: 用于减小日志文件的体积，只留下我们关心的列

sort: 用于排序

unqi: 用于去重及数量统计

head: 配合sort用于top50这样的统计

grep: 搜索过滤

wc : 文件内容统计，一般用来统计内容行数

1秒最高并发时间及并发数

1分钟最高并发时间及并发数

1小时最高并发时间及并发数

接口最高并发数及时间

请求最多次数接口及请求次数

最多请求的接口最高并发数及时间

独立ip统计

访问量统计

请求次数最高链接Top50