首页
学习
活动
专区
工具
TVP
发布

python爬虫-爬取盗墓笔记

这次爬取的网址是http://seputu.com/。之前也经常在上面在线看盗墓笔记。

按照咱们之前的学习爬虫的做法,使用firebug审查元素,查看如何解析html。

这次咱们要把书的名称,章节,章节名称,章节链接抽取出来,存储到数据库中,同时将文章的内容提取出来存成txt文件。

看一下html结构就会发现这个页面结构非常分明,标题的html节点是div class = ''mulu-title",章节的节点是 div class= "box" ,每一章的节点是 div class= "box"中的

标签。

然后咱们将第一章的链接http://seputu.com/biji1/1.html打开,上面就是文章的内容。

可以看到文章的内容是使用 div class ="content-body"中的

标签包裹起来的,总体来说提取难度挺小。

打开cmd,输入scrapy startproject daomubiji,这时候会生成一个工程,然后我把整个工程复制到pycharm中

上图就是工程的结构。

DaomubijiSpider.py ------Spider 蜘蛛

items.py -----------------对要爬取数据的模型定义

pipelines.py-------------处理要存储的数据(存到数据库和写到文件)

settings.py----------------对Scrapy的配置

main.py -------------------启动爬虫

test.py -------------------- 测试程序(不参与整体运行)

下面将解析和存储的代码贴一下

接下来切换到main.py所在目录,运行python main.py启动爬虫。

没过几分钟,爬虫就结束了,咱们看一下爬取的数据和文件。

数据库数据:

没有你爬不到的,只有你想不到的,有喜欢的可以和小编一起进步哦!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190527A0QOEN00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券