爬虫课程(四)|深度优先和广度优先算法

深度优先和广度优先算法在爬取一个整站上经常用到,本课程主要讲解这两个算法的原理以及使用过程。

一、网站的树结构

1.1、一个网站的url结构图

以知乎为例,知乎目前有发现、话题、Live、书店、圆桌、专栏主要的6个tab页。每个网站的url都是有一定的层次,如下图:发现explore、话题topic、Live lives、书店pub、圆桌roundtable、专栏zhuanlan都是在主域名zhihu的下一级,而具体的Live在zhuhu.com/lives/770340328338104320,内容又在话题之下zhihu/question/67006058/answer/250037350,网站的所有内容都一层一层的类似一个树形结构。

知乎网站的url结构图

1.2、网站url链接的结构图

当然,如果我们要做爬取整个网站的url时,我们必须要知道每个网站的url链接一般情况下都是存在环路的,也就是在下一级页面存在上一级页面的url链接,这样形成一个环路。当遇到这个情况时我们需要做url去重,一般的处理方式是把已经爬过的url放到一个list,每次爬取url的时候都去这个list查看下是否已经爬过,爬过的就跳过。这块url去重我下次再详细介绍。

url链接存在环路

二、深度优先和广度优先算法原理介绍(以二叉树为例)

为了更加容易理解深度优先和广度优先算法的原理,我们把一个网站的Tab理解成一颗树的节点,如下图:

二叉树

2.1、深度优先算法

如果我们从深度优先算法来遍历这棵树的节点,那么遍历的顺序是ABDECFHG。

深度优先遍历也叫深度优先搜索(Depth First Search)。它的遍历规则:不断地沿着顶点的深度方向遍历。顶点的深度方向是指它的邻接点方向。

从A开始遍历。

遍历分析:A有两个邻接点B和C,选择下标小的B遍历。接着从B开始深度遍历,B有两个邻接点D和E,选择下标小的D开始深度遍历,D下面没有邻接点,那么回溯到B深度往右遍历到E,E下面没有邻接点。至此,遍历得到的值为ABDE。EDB下的节点都遍历完之后就会从C开始深度遍历,同理遍历得出的值为CFHG。那么最后得出的结果为ABDECFHG。

使用Python代码实现的伪代码如下:

深度遍历算法

从代码可以知道深度优先算法是使用递归实现的。

2.2、广度优先算法

如果我们从广度优先算法来遍历这棵树的节点,那么遍历的顺序是ABCDEFGH。

广度优先遍历也叫广度优先搜索(Breadth First Search)。它的遍历规则:

1)先访问完当前顶点的所有邻接点。(应该看得出广度的意思)

2)先访问顶点的邻接点先于后访问顶点的邻接点被访问。

从A开始遍历。

遍历分析:A有两个邻接点B和C,于是按序遍历B、C。B先于C被访问,于是B的邻接点应先于C的邻接点被访问,那就是接着访问D、E。然后在回到C,C有两个邻接点F、G。再按同样的规则访问D、E、F、G的的邻接点,只有F有一个邻接点H。广度遍历完毕,最后得出的结果为ABCDEFGH。

使用Python代码实现的伪代码如下:

广度优先算法

从代码可以知道广度优先算法是使用队列实现的。

三、总结和分析

3.1、总结

深度优先遍历:对每一个可能的分支路径深入到不能再深入为止,而且每个结点只能访问一次。要特别注意的是,二叉树的深度优先遍历比较特殊,可以细分为先序遍历、中序遍历、后序遍历(我们前面使用的是先序遍历)。具体说明如下:

先序遍历:对任一子树,先访问根,然后遍历其左子树,最后遍历其右子树。

中序遍历:对任一子树,先遍历其左子树,然后访问根,最后遍历其右子树。

后序遍历:对任一子树,先遍历其左子树,然后遍历其右子树,最后访问根。

广度优先遍历:又叫层次遍历,从上往下对每一层依次访问,在每一层中,从左往右(也可以从右往左)访问结点,访问完一层就进入下一层,直到没有结点可以访问为止。

3.2、分析

深度优先搜素算法:不全部保留结点,占用空间少;有回溯操作(即有入栈、出栈操作),运行速度慢。

广度优先搜索算法:保留全部结点,占用空间大; 无回溯操作(即无入栈、出栈操作),运行速度快。

通常深度优先搜索法不全部保留结点,扩展完的结点从数据库中弹出删去,这样,一般在数据库中存储的结点数就是深度值,因此它占用空间较少。

所以,当搜索树的结点较多,用其它方法易产生内存溢出时,深度优先搜索不失为一种有效的求解方法。

广度优先搜索算法,一般需存储产生的所有结点,占用的存储空间要比深度优先搜索大得多,因此,程序设计中,必须考虑溢出和节省内存空间的问题。

但广度优先搜索法一般无回溯操作,即入栈和出栈的操作,所以运行速度比深度优先搜索要快些。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励