爬虫采集去重优化浅谈

以前在做漏洞Fuzz爬虫时,曾做过URL去重相关的工作,当时是参考了seay法师的文章以及网上零碎的一些资料,感觉做的很简单。近来又遇到相关问题,于是乎有了再次改进算法的念头。

首先,针对URL本身的去重,可以直接对整块URL进行处理。在参考网上的一些文章时,发现它们大多采用了 URL 压缩存储的方法。不过使用这些算法在数据量较大的时候,能大幅减小存储的空间:

基于磁盘的顺序存储。 基于Hash算法的存储。 基于MD5压缩映射的存储。 基于嵌入式Berkeley DB的存储。 基于布隆过滤器(Bloom Filter)的存储。

对于 URL 直接去重,主要涉及的是存储优化方面,对于本文不是重点,这里不再细说。

而对于 URL 逻辑上的去重,则需要更多地追求数据的可用性,这是做测试工作需要去考量的。

这里先给出 seay 文章中的相似度去重算法,大致是下面这样的:

def urlsimilar(url):
        hash_size=199999
        tmp=urlparse.urlparse(url)
        scheme=tmp[0]
        netloc=tmp[1]
        path=tmp[2][1:]
        query=tmp[4]
        #First get tail
        if len(path.split('/'))>1:
            tail=path.split('/')[-1].split('.')[-1]
            #print tail
        elif len(path.split('/'))==1:
            tail=path
        else:
            tail='1'
         #Second get path_length
        path_length=len(path.split('/'))-1
        #Third get directy list except last
        path_list=path.split('/')[:-1]+[tail]
        #Fourth hash
        path_value=0
        for i in range(path_length+1):
            if path_length-i==0:
                path_value+=hash(path_list[path_length-i])%98765
            else:
                path_value+=len(path_list[path_length-i])*(10**(i+1))

        #get host hash value
        netloc_value=hash(hashlib.new("md5",netloc).hexdigest())%hash_size
        url_value=hash(hashlib.new("md5",str(path_value+netloc_value)).hexdigest())%hash_size

        return url_value

这段函数的大概作用是,最后它会根据算法返回一个hash值,这个hash值也就是该URL的hash相似度。如果两个URL计算出的hash值最后比较相等,我们则可以判断两个URL是具有较高的相似度的。

但是这个函数应该是seay举例时随手提出的(这里强调下,免得被喷,后文不再细说),只是简单做了demo,并没有进行细化检验。在比较粗糙的情况下,该算法确实能剔除一些简单的参数重复的情况,但一旦参数复杂或者url不规范,是不太能很好的进行去重的。

那么在针对URL获取的过程中,我们还可以做的小优化有哪些呢?

日期时间命名

首先,我们可以根据日期来去重。我们知道,在爬取一些Blog和和门户等系统时,经常会遇到以日期命名的目录。

这些目录大概归纳起来,存在类似下面的形式:

2010-11-11
10-11-11
20101111

当然,还有些文件会以时间+随机值命名,也可能是用unix时间戳命名,这些可能是根据上传和编辑时间来定义的。

笔者建议是,使用redis或者memcache之类等缓存型数据库,将其直接存储;或者在数据量较大的时候,考虑将其作临时存储,需要的时候再进行对比。

比如,一旦出现日期时间命名的目录或静态文件,我们可以考虑将其存储为下面的格式:

目录层级 命名格式 URL地址(或压缩过的hash值)

有人可能说,在前面seay提出的那个案例里,好像是可以解决类似日期相似度的问题。那我们先看看下面的例子,此处输出仍然基于上面那个函数:

print urlsimilar('http://www.baidu.com/blog/2010-10-11/')
print urlsimilar('http://www.baidu.com/blog/2010-10-13/')
print urlsimilar('http://www.baidu.com/blog/2010-9-13/')
print urlsimilar('http://www.baidu.com/whisper/2010-10-11/')

输出结果如下:

110086
110086
37294
4842

我们可以看到,在普通情况下,确实于相同父级目录下,相似度算法是可以判断正确的。 但是一旦日期格式不规范,或者父级目录存在一定的差异,这里是不能很好的判断的。

当然,我们也可以通过机器学习来完成去重的工作。不过就简化工作而言,还是可以使用一些小Tips,根据规则匹配来做到。

静态文件的去重

我们知道,在爬取URL的过程中,也会遇到许多静态文件,如shtml、html、css等等。这些文件在大多数的情况下,是没有太大意义的。除非测试者倾向于使用“宁可错杀一百,绝不放过一个”的全量采集手法。

这时候,我们可以配置黑名单,建立文件后缀规则库进行过滤。

当然,在这些静态后缀的URL链接,也可能带上参数混淆的情况。 个人建议是,用于回调的json、xml等URL,里面可能储存敏感内容,尽量别动;其他类型的静态文件,仍然采取将参数分离的方式,最后对URL进行去重存储。

特定情况的过滤

在爬取特定网站时,我们可以预先做好配置,指定过滤一些目录和页面,以节省大量时间资源。

反过来,我们也可以指定只爬取指定目录下的页面,定向获取我们想要的内容。

敏感页面的感知

在前面seay提出的demo算法中,在这种情况下是有一定局限的。比如我们需要在敏感目录下,尽可能多的拿到文件信息。比如我们爬取到了后台管理目录,可能会遇到下面的情况:

print urlsimilar('http://www.baidu.com/blog/admin/login.php')
print urlsimilar('http://www.baidu.com/blog/admin/manage_index.php')
print urlsimilar('http://www.baidu.com/blog/admin/test.css')

输出结果如下:

40768
40768
40768

很明显有问题不是么?

当然,我们可以通过对敏感页面关键词进行监控;或者也可以指定后缀文件,进行白名单监控。

但是一旦这样做,而且还想采用前面的hash算法的话,大家自行定义的过滤函数的优先级,肯定需要大于该算法。并且,我们在这样做的过程中,也应该考虑过滤成本的问题,建议采用选择性启用。

高频敏感目录的优待

可能在爬取的过程中,部分爬虫是兼用了目录爆破的手段的。如果采用了这种手法并且匹配成功后,我们可以将该目录下的内容单独使用一份过滤规则,从而避免去重算法的误判。

响应页面的过滤

对于某些网站来讲,可能有不少页面因为链接是失效的,会被冠以404页面和50x错误。另外,在无权访问的时候,可能网站会做30x跳转和403目录限制。

这些页面没有实质性内容,在大多数时候是没有意义的,我们可以在配置文件里对需要爬取的这类页面做白名单,比如保留403页面,或者存取30x跳转前(后)的页面。

WAF(警告)页面过滤

某些网站可能被装上了WAF,在访问频率过快时,可能会得到一个WAF的警告页面。而在CMS本身就做了限制的情况下,会以20x的响应码展示一些没有不存在的页面。

当然,我们可以通过分布式换代理的方式,去解决部分这样的问题,这里先不多做讨论。

这时候,我们可以配置相应的次数阈值,如果某些页面出现的次数过多,可以将其标记为警告(WAF)页面,进而做出过滤处理。这里对某页面的识别,可以通过黑名单关键字标记;或者尝试计算页面hash值,比如下面这样:

content = urllib2.urlopen('http://www.test.com/').read()
md5_sum = hashlib.md5()
md5_sum.update(content)
print md5_sum.hexdigest()

当然,我们在实际计算页面hash值和做关键字监控时,也可能由于反爬虫机制的存在(如添加随机值),需要适时调整相似度来计算hash值或者采用其他手段。当然这也会消耗更多的时间和机器资源。但某些特定的情况下,可能也会带来意想不到的收获。

无意义参数页面去重

我们在采集页面的过程中,同样有可能会遇到一些毫无意义的、高频出现的多参数页面。这类页面可能是回调页面,也可能是临时渲染的随机页面。

在这里,大家可以通过前面处理WAF(警告)的方法进行过滤。当然,使用前面的hash算法也是可以应对大部分情况的。毕竟网站的这类的URL有限,不必为了几种特型去消耗更多的资源,这样得不偿失。

JS代码中的URL

在我们提取js代码,也就是遇到ajax之类的交互情况时,可能会遇到需要拼接的GET请求,或者直接可以取用的POST请求。

这类的URL地址,最好是结合phantomjs等webkit,更方便地进行动态拼接。

它们会显得比较特殊,可能仅仅返回状态码,也可能会返回实质性的敏感内容。这种情况,就需要根据爬取者的要求,对爬取的过滤规则进行适应性调整。

总结

笔者这里旨在提出一些对相似URL去重的小优化,可能效果有限,也可能存在未尽人意之处。

欢迎大家提出建议,希望少一些爱喷的童鞋,多一点讨论的大牛,与诸君共勉。

参考文章

如何避免重复抓取同一个网页 https://segmentfault.com/q/1010000002664904

浅谈动态爬虫与去重 http://bobao.360.cn/learning/detail/3391.html

网络爬虫:URL去重策略之布隆过滤器(BloomFilter)的使用 http://blog.csdn.net/lemon_tree12138/article/details/47973715

实用科普:爬虫技术浅析 编写爬虫应注意的点 http://www.cnseay.com/?p=4102

网络爬虫 (spider) URL消重设计 URL去重设计 http://woshizn.iteye.com/blog/532605

原文发布于微信公众号 - FreeBuf(freebuf)

原文发表时间:2017-10-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

浅析负载均衡的6种算法,Ngnix的5种算法

常见的几种负载均衡算法 ? 1、轮询法 将请求按顺序轮流地分配到后端服务器上,它均衡地对待后端的每一台服务器,而不关心服务器实际的连接数和当前的系统负载。 2、...

3068
来自专栏Python中文社区

Django 博客教程(三):创建应用和编写数据库模型

專 欄 ❈追梦人物,Python中文社区专栏作者。电子科技大学计算机学院研究生,从事大数据分析研究方向。主要使用 Python 语言进行相关数据的分析,熟练使...

2079
来自专栏沃趣科技

Oracle压缩黑科技(三):OLTP压缩

原文链接:https://www.red-gate.com/simple-talk/sql/oracle/compression-in-oracle-part-...

3637
来自专栏安富莱嵌入式技术分享

emWin监护仪界面设计,含uCOS-III和FreeRTOS两个版本

配套例子: V6-908_STemWin提高篇实验_监护仪界面设计(uCOS-III) V6-909_STemWin提高篇实验_监护仪界面设计(FreeRTOS...

1655
来自专栏marsggbo

tmux 简单介绍

1051
来自专栏Java3y

操作系统第五篇【死锁】

2974
来自专栏李想的专栏

使用腾讯云“自定义监控”监控 GPU 使用率

本文旨在通过使用腾讯云的“自定义监控”服务来自行实现对 GPU 服务器的 GPU 使用率的监控。

1.3K13
来自专栏Python中文社区

利用 tesseract 解析简单数字验证码图片

專 欄 ❈陈键冬,Python中文社区专栏作者 GitHub: https://github.com/chenjiandongx ❈ tesseract 是一...

3775
来自专栏Greenplum

Greenplum Pgbench命令详解

TPC:Transactionprocessing Performance Council事务处理性能委员会

1461
来自专栏Snova云数仓

gpexpand分析

具体包括不限于以下内容: 创建用户名,设置环境变量,创建数据目录,安装greenplum软件包,解压目录路径。

3.4K6

扫码关注云+社区

领取腾讯云代金券