Python爬虫实例之——小说下载

这是小詹关于爬虫的第②篇文章!

第一篇关于爬虫中介绍了一些基本的术语和简单的操作,这里不重复叙述了,直接放链接,不记得的自己在文章末尾点击前期链接补补~

本篇开始要进入实操啦,今天第一篇先从简单的爬起~先爬一爬文本格式的数据吧,以小说为例。大致流程为:获取HTML信息,解析HTML信息,将HTML信息中选择感兴趣的保存~

首先上篇还没有说到requests库的使用,这是一个十分强大的库,现列举几个基础方法:(官方中文教程地址:http://docs.python-requests.org/zh_CN/latest/user/quickstart.html)

随便以一篇小说《复兴之路》为例,其第一章URL:http://www.biqukan.com/11_11745/4321123.html

现在我们先利用前篇内容获取html信息试试看。

其结果的确获取了所要的html信息,然而多了很多我们不需要的数据,实际上多的这些数据时div、br等html标签,我们并不care这些,所以我们需要将正文提取出来,也就是在获取了html信息之后将其解析,提取我们需要的信息。

提取的方法中很牛逼的正则表达式暂时不涉及,用一个简单的BeautifulSoup,其安装同requests一样,pip install 即可~

根据上一讲的方法,可以通过审查元素发现文章所有内容都存放在div标签下

观察不同标签发现class属性为showtxt的div标签只有一个!这个标签里面存放的内容,是我们需要的小说正文。于是利用beautifulsoup提取内容代码如下:

在解析html之前,我们需要创建一个Beautiful Soup对象。BeautifulSoup函数里的参数就是我们已经获得的html信息。然后我们使用find_all方法,获得html信息中所有class属性为showtxt的div标签。find_all方法的第一个参数是获取的标签名,第二个参数class_是标签的属性。

最后我们还是发现多了其他的一些标签不是我们想要的。find_all匹配的返回的结果是一个列表。提取匹配结果后,使用text属性,提取文本内容,滤除br标签。随后使用replace方法,剔除空格,替换为回车进行分段。 在html中是用来表示空格的。replace(‘\xa0’*8,’\n\n’)就是去掉下图的八个空格符号,并用回车代替:

这时候我们得到了想要的结果:

但是但是!!!重点是如果我们想整本书下载下来呢?同样通过审查元素发现全书各个章节存放在了class属性为listmain的div标签下,各章之间差别就在于这些章节的【href】属性不一样,而且其属性正好对应着每一章节URL后半部分,那这样,我们就可以根据标签的href属性值获得每个章节的链接和名称了。如下图:

所以再次利用find_all方法获取所有目录:

得到如下结果:

再接着提取章节名和章节文章:

结果如下:

将上边的代码进行整合,于是得到如下完整代码:

其运行后会自动下载此小说《复习之路》,你的又一个爬虫实践成功finish啦~

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180331G07XSF00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券