性能测试之nginx访问日志分析
首先需要介绍一下基于linux的文本分析的一些命令工具；
awk:
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，
awk在其对数据分析并生成报告时，显得尤为强大。
简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
它允许您创建简短的程序，这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表，还有无数其他的功能。
awk工作流程:
读入有"\n"换行符分割的一条记录,然后把记录按照指定的域分隔符划分域,填充域
0表示所有的域,1表示第一个域,以此类推
默认域分隔符是空白键或者tab键
sort:
将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
uniq:
用于去除有序文件中的重复行并将结果输出到标准输出。uniq经常和sort合用，为了使uniq起作用，所有的重复行必须是相邻的
wc:
利用wc指令我们可以计算文件的Byte数、字数、或是列数，若不指定文件名称、或是所给予的文件名为"-"，则wc指令会从标准输入设备读取数据。
Nginx 日志分析,我直接用的我机器上的nginx日志，默认的都是可以的，列举几个简单常用的, 如果不清楚你的nginx日志地址，查看nginx.conf文件即可，看下我这边的日志截图:
awk '{print $1}' access.log # IP 地址 ($remote_addr) 如下图所示，其他不再截图示意，大家自行操作
awk '{print $4,$5}' access.log # 日期和时间 ([$time_local])
awk '{print $7}' access _log # URI ($request)
awk '{print $9}' access _log # 状态码 ($status)
awk '{print $10}' access _log # 响应大小 ($body_bytes_sent)
awk '{print $12}' access _log # 代理
存在日志格式有出入，命令需求调整，但思路是一致的1.列举一些组和命令，根据访问IP统计UV
awk '{print $1}' access.log|sort | uniq -c |wc -l
2.统计访问URL统计PV
awk '{print $7}' access.log|wc -l
3.查询访问最频繁的URL
awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more
4.查询访问最频繁的IP
awk '{print $1}' access.log|sort | uniq -c |sort -n -k 1 -r|more
5.访问最多的10个ip及访问次数
awk '{print $1}' 日志地址 | sort | uniq -c | sort -n -k 1 -r | head -n 10
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2020-08-06，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。