专栏首页编程保存数据到MySql数据库——我用scrapy写爬虫(二)

保存数据到MySql数据库——我用scrapy写爬虫(二)

写在前面

上一篇(https://www.tech1024.cn/original/2951.html )说了如何创建项目,并爬去网站内容,下面我们说一下如何保存爬去到的数据

开始爬取

创建Spider,上一篇我们已经创建了ImoocSpider,我们做一下修改,可以连续下一页爬取。

scrapyDemo/spiders目录下的ImoocSpider类:

这里用到了scrapyDemo目录下ImoocCourseItem类,下面我就说一下。

Item数据容器

在scrapyDemo目录下创建ImoocCourseItem.py,这个类就是我们用了保存数据的容器,我们定义了标题、图片、简介、地址。

scrapyDemo目录下ImoocCourseItem类:

Pipeline管道

Pipeline是用来处理抓取到的数据,我们在scrapyDemo目录下创建ScrapydemoPipeline.py类

别忘了在配置文件中开启管道哦,scrapyDemo目录下的settings.py文件中,找到下ITEM_PIPELINES,修改为

数据库操作

这里面我们用到了数据库的操作DBHelper类,那么我们在scrapyDemo/db目录下创建dbhelper.py 模块,记得再创建一个init.py哦。

这里用到了pymysql和adbapi,adbapi是python的数据库连接池,可以pip安装:

这里面还用到了getprojectsettings方法,意思是从配置文件settings.py里边获取数据库配置信息,我们在scrapyDemo目录下的settings.py文件最后加入数据库信息

建表语句如下:

大功告成

我们在命令行运行项目

如果没有报错,我们的数据库是不是有数据了呢

本文来自企鹅号 - 博雅运维媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 还是用RSeQC对比对后的转录组数据做一下质控

    那个时候写教程,以软件安装,软件input和output为主,因为觉得新手最容易纠结的就是这些了,但是现在回过头来看,软件安装已经成了小菜一碟,对各种bam/s...

    企鹅号小编
  • Redis列表的“绝地反击”

    大家晚上好,今天介绍Redis中的列表数据结构。 Redis中的列表是用来存储多个有序的字符串的,最神奇的地方是:竟然可以在列表两端插入(push)和弹出(po...

    企鹅号小编
  • 全球N个WordPress网站感染了……

    安全研究人员又发现了超过2000个WordPress站点,感染了被加载到WordPress后端登录页面的键盘记录器,研究人员将这些新发现的感染地点与 2017年...

    企鹅号小编
  • 最全Java成神学习路线总结!!!

    1)每本书每个人的思路不一样,哪怕有不好的地方,一定要坚持按照一种思路去学习,不要半路换,不然很容易失去乐趣或者放弃。

    用户5224393
  • linux 普通操作,查看资源使用情况

    nvidia-smi 查看当前资源 top-i 查看端口资源使用情况 进入命令行后直接输入即可~要讲的这么露骨吗

    水球喵子
  • 手把手教你搭建个人网站五:WordPress搬家&备份

    建好基于WordPress的个人网站后,如果我们想整个搬到另一个服务器,应该怎么弄呢?为了预防不可预知情况的发生,我们又该如何备份网站信息呢? ? 备份Word...

    企鹅号小编
  • Spring MVC相关面试题就是无底洞,反正我是怕了

    面试官:在基于Spring框架的Web应用中,Spring的应用上下文配置文件applicationgContext.xml是如何自动加载的?

    JavaQ
  • Spring2.0中文参考手册final发布

    http://spring.jactiongroup.net/viewtopic.php?t=2333&sid=bb15f2e108cfdd8f81cc60b3...

    阿敏总司令
  • 一对一沟通

    现在互联网软件这么丰富,各种IM工具发达,企业QQ、TM、微信、钉钉,交流起来真的很方便,效率也很高。但是这种交流是缺少触觉的,是无法捕捉到对方的表情和肢体语言...

    奎哥
  • 无缘小程序模板消息推送功能,只能为后台管理功能做准备

    这两天打算把模板消息的功能开发完成,主要思路还是根据原博客小程序,有兴趣的可以参考[博客小程序]评论通知功能实现(一)——小程序发送模板消息的几种实现和[博客小...

    Bug生活2048

扫码关注云+社区

领取腾讯云代金券