14行代码带你爬取网页小说

喜欢就点关注吧!

小说

爬虫

给大家分享一个如何通过14行代码爬取到小说的例程。本例程通过Python爬虫批量爬取网络小说并将其写入txt文本里，运行环境是Python3.5，具体教程如下。

Newspaper库

本项目是基于newspaper库实现的，Newspaper是一个可以用来提取新闻、文章和内容分析的库，在文章爬取方面具有十分强大的功能

python3安装：

pip3 install newspaper3k

程序主要有两个函数构成，一个是生成链接，另一个是获取文本并写入txt中。程序如下图所示

本程序只爬取前10章内容，运行程序得到文本文件如下

由上即可爬取成功平凡的世界这本小说，喜欢读小说的朋友再也不用在网页上阅读小说或者满世界找资源了，通过本例程可拓展任何爬取你自己想看的小说，

关注我们