65.如何为爬虫程序增加最大爬取深度

在实际爬取数据时，我们可能不需要对整个网站数据进行爬取。因此，如果可以增加一个功能，对目标网站的最大爬取深度，可以灵活配置，那该多好。接下来，我们就来编写一个具有配置最大爬取深度功能的爬虫程序。

有了这个功能，我们就可以很方便灵活的，进行数据爬取了。如果你想要禁用这个功能，可以将max_depth设置为负数即可 。