扫描apache2服务器的access.log，找出恶意访问的ip,将其加入黑名单，禁止访问
扫描apache2服务器的access.log，找出恶意访问的ip,将其加入黑名单，禁止访问
任务：扫描apache2服务器的access.log，找出恶意访问的ip,将其加入黑名单，禁止访问。
工具：python ;ipset;crontab
1、设置ipset
ipset 是可以存储一个地址集合
安装：
$ sudo apt-get install ipset让我通过简单的示例告诉你该如何使用ipset命令。
首先，让我们创建一条新的IP集，名为banthis（名字任意）：
$ sudo ipset create banthis hash:net第二个参数(hash:net)是必须的，代表的是集合的类型。IP集有多个类型。hash:net类型的IP集使用哈希来存储多个CIDR块。如果你想要在一个集合中存储单独的IP地址，你可以使用hash:ip类型。
一旦创建了一个IP集之后，你可以用下面的命令来检查：
$ sudo ipset list
image
这显示了一个可用的IP集合列表，并有包含了集合成员的详细信息。默认上，每个IP集合可以包含65536个元素（这里是CIDR块）。你可以通过追加"maxelem N"选项来增加限制。
$ sudo ipset create banthis hash:net maxelem 1000000现在让我们来增加IP块到这个集合中：
$ sudo ipset add banthis 1.1.1.1/32
$ sudo ipset add banthis 1.1.2.0/24
$ sudo ipset add banthis 1.1.3.0/24
$ sudo ipset add banthis 1.1.4.10/24你会看到集合成员已经改变了。
$ sudo ipset list
image
现在是时候去创建一个使用IP集的iptables规则了。这里的关键是使用"-m set --match-set "选项。
现在让我们创建一条让之前那些IP块不能通过80端口访问web服务的iptable规则。可以通过下面的命令：
屏蔽80端口
$ sudo iptables -I INPUT -m set --match-set banthis src -p tcp --destination-port 80 -j DROP 屏蔽443端口
$ sudo iptables -I INPUT -m set --match-set banthis src -p tcp --destination-port 443 -j DROPipset 设置完毕！
2、编写扫描脚本
扫描日志，取出日志里面的访问IP地址
import re
import gzip
import os
badrequest=[' *******'] #恶意访问请求的特征文本
def scan_apache_gzip_log(filename): #扫描压缩日志
iplist=set()
f=gzip.open(filename,'r')
for eachline in f:
eachline=eachline.decode('utf-8')
s=re.finditer('^\d+\.\d+\.\d+\.\d+',eachline)#找出ip
for s in s:
ip=s.group()
for item in badrequest: #匹配恶意请求文本
if(eachline.find(item)>0):
iplist.add(ip)
f.close()
return iplist
def scan_apache_log(filename): #扫描当天日志
iplist=set()
f=open(filename,'r')
for eachline in f:
s=re.finditer('^\d+\.\d+\.\d+\.\d+',eachline)
for s in s:
ip=s.group()
for item in badrequest:
if(eachline.find(item)>0):
iplist.add(ip)
f.close()
return iplist
def insert_into_ipset(iplist):
if(len(iplist)>0):
for item in iplist:
os.system('/sbin/ipset add banthis '+item)
if __name__=='__main__':
apachelog="**/apache2/access.log" #log文件地址
iplist=scan_apache_log(apachelog)
insert_into_ipset(iplist)3、定时执行脚本
$sudo crontab -u root -e进入 crontab 编辑界面。会打开Vim编辑你的任务
- 执行的任务
这个文件中是通过 5 个“”来确定命令或任务的执行时间的，这 5 个“”的具体含义下所示。
crontab 时间表示
项目含义范围
第一个"*"一小时当中的第几分钟（minute）0~59
第二个"*"一天当中的第几小时（hour）0~23
第三个"*"一个月当中的第几天（day）1~31
第四个"*"一年当中的第几个月（month）1~12
第五个"*"一周当中的星期几（week）0~7（0和7都代表星期日）
在时间表示中，还有一些特殊符号需要学习，如下所示。
时间特殊符号
特殊符号含义
（星号）代表任何时间。比如第一个""就代表一小时种每分钟都执行一次的意思。
,（逗号）代表不连续的时间。比如"0 8，12，16***命令"就代表在每天的 8 点 0 分、12 点 0 分、16 点 0 分都执行一次命令。
-（中杠）代表连续的时间范围。比如"0 5 ** 1-6命令"，代表在周一到周六的凌晨 5 点 0 分执行命令。
/（正斜线）代表每隔多久执行一次。比如"*/10****命令"，代表每隔 10 分钟就执行一次命令。
当“crontab -e”编辑完成之后，一旦保存退出，那么这个定时任务实际就会写入 /var/spool/cron/ 目录中，每个用户的定时任务用自己的用户名进行区分。而且 crontab 命令只要保存就会生效，只要 crond 服务是启动的。知道了这 5 个时间字段的含义，我们多举几个时间的例子来熟悉一下时间字段，如下所示。
crontab举例时间
含义45 22 ***命令在 22 点 45 分执行命令
0 17 ** 1命令在每周一的 17 点 0 分执行命令
0 5 1，15**命令在每月 1 日和 15 日的凌晨 5 点 0 分执行命令
40 4 ** 1-5命令在每周一到周五的凌晨 4 点 40 分执行命令
*/10 4 ***命令在每天的凌晨 4 点，每隔 10 分钟执行一次命令
0 0 1，15 * 1命令在每月 1 日和 15 日，每周一个 0 点 0 分都会执行命令，
注意：星期几和几日最好不要同时出现，因为它们定义的都是天，非常容易让管理员混淆
我们设置为：
*/1 * * * * /etc/python36/python /XXXX我们的脚本地址 含义是每分钟执行一次脚本，扫描出恶意的IP，加入黑名单中。
使用crontab时要注意path(环境)设置，否则脚本不能完整执行。下面就是我碰到的问题：
在python脚本中用到了os.system("ipset add blacklist 12.2.2.X") 命令，该脚本手动执行时运行成功，但使用crontab定时任务来运行脚本，os.system()里面的命令无法执行。
os.system()里的命令需要写成绝对路径，否则crontab找不到该命令，就不会执行。用 $ whereis ipset 查找ipset 的绝对路径，是”/sbin/ipset“，改成os.system("/sbin/ipset add blacklist 12.2.2.X") ,命令成功执行。