首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Scrapy:pipeline管道的open_spider、close_spider

Scrapy:pipeline管道的open_spider、close_spider

作者头像
新码农
修改2020-12-25 11:25:13
2.2K0
修改2020-12-25 11:25:13
举报
文章被收录于专栏:新码农博客新码农博客

导读

设置scrapy爬虫开启和关闭时的动作。

pipelines.py

class DemoPipeline(object):

    # 开启爬虫时执行,只执行一次
    def open_spider(self, spider):
        # 为spider对象动态添加属性,可以在spider模块中获取该属性值
        # spider.hello = "world"
        # 可以开启数据库等
        pass

    # 处理提取的数据(保存数据)
    def process_item(self, item, spider):
        pass

    # 关闭爬虫时执行,只执行一次。
    # 如果爬虫中间发生异常导致崩溃,close_spider可能也不会执行
    def close_spider(self, spider):
        # 可以关闭数据库等
        pass
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2020年4月16日 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 导读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档