前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Scrapy用pipelines把字典保

Scrapy用pipelines把字典保

作者头像
py3study
发布2020-01-19 16:45:44
3640
发布2020-01-19 16:45:44
举报
文章被收录于专栏:python3python3
代码语言:javascript
复制
import csv

class MyProjectPipeline(object):
# 保存为csv格式
def __init__(self):
    # 打开文件,指定方式为写,利用第3个参数把csv写数据时产生的空行消除
    self.f = open("myproject.csv","a",newline="")
    # 设置文件第一行的字段名,注意要跟spider传过来的字典key名称相同
    self.fieldnames = ["m_num","m_name","s_name","i_date","l_work","m_style","c_work"]
    # 指定文件的写入方式为csv字典写入,参数1为指定具体文件,参数2为指定字段名
    self.writer = csv.DictWriter(self.f, fieldnames=self.fieldnames)
    # 写入第一行字段名,因为只要写入一次,所以文件放在__init__里面
    self.writer.writeheader()

def process_item(self, item, spider):
    # 写入spider传过来的具体数值
    self.writer.writerow(item)
    # 写入完返回
    return item

def close(self,spider):
    self.f.close()
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-05-02 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档