渗透测试基础- - -web日志分析
目录
iis日志详解
1，查看方式
由于不同的 Windows 版本，iis日志路径不一样，所以分别介绍如下：
Windows Server 2003 iis 6日志路径：C:\Windows\System32\LogFiles
Windows Server 2008 R2、2012、2016、2019 iis7以上日志路径：C:\inetpub\logs\LogFiles
2，详解
date表示记录访问日期；
time访问时间；
cs-method表示访问方法，常见的有两种，一是GET，就是平常我们打开一个URL访问的动作，二是POST，提交表单时的动作；
cs-uri-stem就是访问哪一个文件；
cs-uri-query是指访问地址的附带参数，如asp文件?后面的字符串id=12等等，如果没有参数则用-表示；
c-ip访问者IP；
cs(Referer)访问来源；
sc-status状态，200表示成功，403表示没有权限，404表示打不到该页面，500表示程序有错；
sc-bytes服务端传送到客户端的字节大小；
cs-bytes客户端传送到服务端的字节大小；
time-taken处理时间。
Log Parser快速日志分析工具
下载地址:
大家可以在微软官网下载、安装。安装过程很简单，一步到位。下载链接：http://www.microsoft.com/en-us/download/details.aspx?id=24659
用法：
LogParser. exe "select top 10 time, c-ip, cs-uri-stem, sc-status, time-taken from C:Usersliuhao02Desktop\应急\样本Vis.log"-o:datagrid
通过这条Web访问日志，我们可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器的情况下访问了你网站的哪个页面，是否访问成功。
windows系统Apache日志分析工具：Apache log viewer
Apache日志字段说明：
访问日志access_log记录了所有对Web服务器的访问活动，下面是访问日志access_log中的一个标准记录
192.168.115.5 - - [01/Apr/2018:10:37:19 +0800] "GET / HTTP/1.1" 200 45
日志字段所代表的内容如下：
1.远程主机IP：表明访问网站的是谁
2.空白(E-mail)：为了避免用户的邮箱被垃圾邮件骚扰，第二项就用“-”取代了
3.空白(登录名)：用于记录浏览者进行身份验证时提供的名字。
4.请求时间：用方括号包围，而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。
5.方法+资源+协议：服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”，即“方法 资源 协议”。
METHOD: GET、POST、HEAD、……RESOURCE: /、index.html、/default/index.php、……（请求的文件）PROTOCOL: HTTP+版本号
6.状态代码：请求是否成功，或者遇到了什么样的错误。这项值是200，它表示服务器已经成功地响应浏览器的请求，一切正常。
7.发送字节数：表示发送给客户端的总字节数。它告诉我们传输是否被打断（该数值是否和文件的大小相同）。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据.
linux系统Apache日志分析技巧：
1、列出当天访问次数最多的IP命令：
cut -d- -f 1 log_file|uniq -c | sort -rn | head -20
2、查看当天有多少个IP访问：
awk '{print $1}' log_file|sort|uniq|wc -l
3、查看某一个页面被访问的次数：
grep "/index.php" log_file | wc -l
4、查看每一个IP访问了多少个页面：
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file
5、将每个IP访问的页面数进行从小到大排序：
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n
6、查看某一个IP访问了哪些页面：
grep ^111.111.111.111 log_file| awk '{print 1,7}'
7、去掉搜索引擎统计当天的页面：
awk '{print 12,1}' log_file | grep ^\"Mozilla | awk '{print
8、查看2021年6月21日14时这一个小时内有多少IP访问:
awk '{print 4,1}' log_file | grep 21/Jun/2021:14 | awk '{print
日志统计分析技巧
统计爬虫：
grep -E 'Googlebot|Baiduspider' /www/logs/access.2019-02-23.log | awk '{ print $1 }' | sort | uniq
统计浏览器：
cat /www/logs/access.2019-02-23.log | grep -v -E 'MSIE|Firefox|Chrome|Opera|Safari|Gecko|Maxthon' | sort | uniq -c | sort -r -n | head -n 100
IP 统计：
grep '23/May/2019' /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -r -n | head -n 10
统计网段：
cat /www/logs/access.2019-02-23.log | awk '{print $1}' | awk -F'.' '{print $1"."$2"."$3".0"}' | sort | uniq -c | sort -r -n | head -n 200
统计域名：
cat /www/logs/access.2019-02-23.log |awk '{print $2}'|sort|uniq -c|sort -rn|more
HTTP Status：
cat /www/logs/access.2019-02-23.log |awk '{print $9}'|sort|uniq -c|sort -rn|more
URL 统计：
cat /www/logs/access.2019-02-23.log |awk '{print $7}'|sort|uniq -c|sort -rn|more
文件流量统计：
cat /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more grep ' 200 ' /www/logs/access.2019-02-23.log |awk '{sum[$7]+=$10}END{for(i in sum){print sum[i],i}}'|sort -rn|more
URL访问量统计：
cat /www/logs/access.2019-02-23.log | awk '{print $7}' | egrep '\?|&' | sort | uniq -c | sort - rn | more
脚本运行速度：查出运行速度最慢的脚本
grep -v 0$ /www/logs/access.2019-02-23.log | awk -F '\" ' '{print $4" " $1}' web.log | awk '{print $1" "$8}' | sort -n -k 1 -r | uniq > /tmp/slow_url.txt
IP, URL 抽取：
# tail -f /www/logs/access.2019-02-23.log | grep '/test.html' | awk '{print $1" "$7}'
刪除一个月前的日志：
rm -f /www/logs/access.log.$(date -d '-1 month' +'%Y-%m')*