Python | 一次下完所有小说,还有谁!

作者:Josiah

来源:http://www.cnblogs.com/Josiah-Lin/p/7241678.html

1.目标

排行榜的地址: http://www.qu.la/paihangbang/

找到各类排行旁的的每一部小说的名字,和在该网站的链接。

2.观察页的结构

很容易就能发现,每一个分类都是包裹在:

之中,

这种条理清晰的网站,大大方便了爬虫的编写。

在当前页面找到所有小说的连接,并保存在列表即可。

3.列表去重的小技巧

就算是不同类别的小说,也是会重复出现在排行榜的。

这样无形之间就会浪费很多资源,尤其是在面对爬大量网页的时候。

这里只要一行代码就能解决:

这里调用了一个list的构造函数set:这样就能保证列表里没有重复的元素了。

4.代码实现

模块化,函数式编程是一个非常好的习惯,坚持把每一个独立的功能都写成函数,这样会使代码简单又可复用。

  • 网页抓取头
  • 获取排行榜小说及其链接: 爬取每一类型小说排行榜,按顺序写入文件。文件内容为:小说名字+小说链接。将内容保存到列表,并且返回一个装满url链接的列表
  • 获取单本小说的所有章节链接:
获取该小说每个章节的url地址,并创建小说文件
  • 获取单页文章的内容并保存到本地 这里有个小技巧: 从网上爬下来的文件很多时候都是带着<br>之类的格式化标签,可以通过一个简单的方法把它过滤掉: html = get_html(url).replace('<br/>', '\n') 这里单单过滤了一种标签,并将其替换成‘\n’用于文章的换行,
  • 主函数
  • 输出结果

5.缺点

本次爬虫写的这么顺利,更多的是因为爬的网站是没有反爬虫技术,以及文章分类清晰,结构优美。

但是,按照这篇文的思路去爬取小说,大概计算了一下:一篇文章需要:0.5s,一本小说(1000张左右):8.5分钟,全部排行榜(60本): 8.5小时!

那么,这种单线程的爬虫,速度如何能提高呢?

自己写个多线程模块?

其实还有更好的方式: Scrapy框架

后面可将这里的代码重构一边遍,速度会几十倍甚至几百倍的提高了!这其实也是多线程的威力!

原文发布于微信公众号 - Python专栏(xpchuiit)

原文发表时间:2018-11-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java帮帮-微信公众号-技术文章全总结

Java高级开发工程师,面试总结

Java高级开发工程师,面试总结 每个人都会有的抉择 时隔两年,再一次的面临离职找工作,这一次换工作有些许的不舍,也有些许的无奈。个人所在的技术团队不错,两年时...

3875
来自专栏阮一峰的网络日志

都柏林核心(Dublin Core)

在上一篇日志中,我介绍了元数据(MetaData),并且说只要有一个集合,就可以定义一套元数据。 这样一来,很自然的,我们就会想到一个问题:有没有可能定义一套通...

2817
来自专栏微信公众号:Java团长

Java的21个技术点,你知道吗?

关于Java的编程知识,有人会问哪几个是重要的知识点,不知道大家是否知道呢?给大家分享一下!

933
来自专栏大数据架构师专家

python实战课程--控制结构

学编程,最重要的不是多看多听,而是多敲,第一遍看着代码敲.第二遍不看代码敲,第三遍不看代码在限定的时间内敲完.

892
来自专栏SHERlocked93的前端小站

JS 状态模式

状态模式(State)允许一个对象在其内部状态改变的时候改变它的行为,对象看起来似乎修改了它的类。 其实就是用一个对象或者数组记录一组状态,每个状态对应一个实现...

3164
来自专栏韩伟的专栏

架构实现利器:反射

假设我们希望开发一套通用型的软件框架,这个框架允许用户自定义大量不同的情况下的回调函数(方法),用来实现丰富多彩的业务逻辑功能,例如一个游戏脚本引擎,那么,其中...

5810
来自专栏编程坑太多

作为程序员,有没有让你感到既无语又崩溃的程序命名?

1263
来自专栏北京马哥教育

爬虫实践---一次下完所有小说:排行榜小说批量下载

? 一、目标 排行榜的地址: http://www.qu.la/paihangbang/ 找到各类排行旁的的每一部小说的名字,和在该网站的链接。 二、...

3165
来自专栏calvin

centos7 lldb 调试netcore应用的内存泄漏和死循环示例(dump文件调试)

lldb工具的安装,linux下netcore如何生成dump文件,查看下文 centos7使用lldb调试netcore应用转储dump文件

2593
来自专栏Java后端技术栈

Java代码评审歪诗!让你写出更加优秀的代码!

架构师说, 用20个字描述代码评审的内容, 自省也省人。由于是一字一含义, 不连贯, 为了增强趣味性, 每句都增加对应的歪解。只是对常见评审的描述, 不尽之处,...

1011

扫码关注云+社区

领取腾讯云代金券