爬小说-谁的青春不迷茫

环境： Python3 + Macos。

开发工具：PyCharm。

内容：爬取136书屋谁的青春不迷茫这本书的全部内容

思路：先爬取某一章的内容，然后再爬取全部章节链接地址，然后抽取其中内容。

要爬取的链接地址如下：http://www.136book.com/shuidiqingchunbumimang/

主页截图如下

主页

首先分析一下这个网站：每当点击其中各个章节的时候，是通过控制网址后面／eqlrcjd，这样类似的一串英文的不同，来区分每一章节。

自序截图

我们接着在主页开启chrome浏览器开发者工具，进行页面审查，很轻松，经过一圈查看，发现小说的内容在Network下面的Doc模块下。

主页分析

每一章的链接地址都是有规则地存放在中。

主页每一章页面链接地址

经过分析，总章节爬取应该和每一章差不多，所以我们先来搞定每一章，然后再搞定全部章节。

我们只需要打开其中一章，然后进行分析，我们要爬取的内容全都包含在这个

里面。

某一章

代码如下：

运行后的截图：

第一次尝试

显然下载了第一章的内容，但是没有达到完全自动化下载到电脑里，也没有达到整本书的下载，我们接下来，进一步优化。

总章节内容：

所有的内容都放在一个所有的内容都放在一个

中。

这儿有两个一模一样的

。

第一个

包含着最近更新的章节，第二个

包含着全集内容。

请注意，我们要爬取的是第二个

中的内容。

总章节

代码如下：

运行后截图

总章节截图

爬取全部章节及其内容

将每个解析出来的链接循环代入到url中解析出来，并将其中的文本爬取出来，并且写到本地/Users/wangchao/Desktop/xs66.rtf中。

这是代码：

由于电脑原因，我只好用word打开