Python爬虫实战之使用Scrapy爬起点网的完本小说

作者：totcw 来源：http://blog.csdn.net/totcw/article/details/65444660

一.概述

本篇的目的是用scrapy来爬取起点小说网的完本小说,使用的环境ubuntu,至于scrapy的安装就自行百度了。

二.创建项目

scrapy startproject name 通过终端进入到你创建项目的目录下输入上面的命令就可以完成项目的创建.name是项目名字.

三.item的编写

我这里定义的item中的title用来存书名,desc用来存书的内容.、

四.pipelines的编写

在pipelines可以编写存储数据的形式,我这里就是使用txt形式的文件来存储每一本书

五.Setting的编写

只要将下面代码中的tutorial替换成自己项目的名字就可以

六.spider的编写

七.总结

通过上面的代码虽然可以获取所有书的内容,但是起点是有vip限制的,也就是说必须用起点的vip帐号登录才能查看完本的小说,因此这有点遗憾,我没有起点小说网的会员.