专栏首页Hank’s BlogScrapy框架: pipelines.py设置

Scrapy框架: pipelines.py设置

保存数据到json文件

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

from scrapy.exporters import JsonItemExporter

class ErshouPipeline(object):
    def open_spider(self, spider):
        self.file=open('01ershou.json','wb')
        self.exporter=JsonItemExporter(self.file)
        self.exporter.start_exporting()

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

    def close_spider(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Scrapy框架: middlewares.py设置

    hankleo
  • Python获取xml数据

    hankleo
  • python第四十二课——__str__(self)函数

    4.__str__(self): 作用: 创建完对象,直接打印对象名/引用名我们得到的是对象的内存信息(十六进制的地址信息), 这串数据我们程序员并不关心...

    hankleo
  • 【python设计模式-创建型】抽象工厂模式

    抽象工厂模式(Abstract Factory Pattern)是围绕一个超级工厂创建其他工厂。该超级工厂又称为其他工厂的工厂。这种类型的设计模式属于创建型模式...

    绝命生
  • 【Golang语言社区】H5游戏开发从零开始开发一款H5小游戏(三) 攻守阵营,赋予粒子新的生命

    每个游戏都会包含场景和角色。要实现一个游戏角色,就要清楚角色在场景中的位置,以及它的运动规律,并能通过数学表达式表现出来。 场景坐标 canvas 2d的场景坐...

    李海彬
  • PyQt5 表格控件(QTableWidget)

    本篇介绍PyQt5的表格控件QTableWidget。QTableWidget类似于Excel的表,适用于显示结构化的数据。它的单元格是QTableWidget...

    用户6021899
  • 17.splash_case06_ScrapySplashTest-master

    hankleo
  • day93-视图封装&路由组件&版本控制

    1.1 首先明确封装,因为不同的增删改查的区别就在于 表 不同,序列化器 不同,

    少年包青菜
  • 在CVM搭建你自己的网盘

    Nextcloud是ownCloud的一个分支,它是一个文件共享服务器,允许您将个人内容(如文档和图片)存储在集中位置,就像腾讯微云、百度网盘、Dropbox一...

    大瓜皮
  • windows下 zookeeper dubbo 安装+配置+demo 详细图文教程

    互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,Dubbo是一个分布式服务框架,在这种情况下诞生的。...

    良月柒

扫码关注云+社区

领取腾讯云代金券