专栏首页python3scrapy数据保存为excel

scrapy数据保存为excel

一、概述

scrapy爬取的数据,需要保存到excel中,根据中文标题,将对应的数据写入。

二、实现方法

安装模块

pip3 install openpyxl

修改pipelines.py

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
from openpyxl import Workbook


class ExcelPipeline(object):
    def __init__(self):
        self.wb = Workbook()
        self.ws = self.wb.active
        self.ws.append(['姓名', '年龄', '地址')
        self.file_name = "test.xlsx"

    def process_item(self, item, spider):
        line = [item['name'], item['age'], item['address']]
        self.ws.append(line)
        self.wb.save(self.file_name)
        return item

    def close_spider(self, spider):
        # 关闭
        self.wb.close()

本文参考链接:

https://blog.csdn.net/qq_42336560/article/details/80951401

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • python scrapy爬虫练习(1) 爬取豆瓣电影top250信息

    目标URL:https://movie.douban.com/top250?start=0&filter=

    叶庭云
  • Scrapy案例01-爬取传智播客主页上

    我们打算抓取:http://www.itcast.cn/channel/teacher.shtml 网站里的所有讲师的姓名、职称和个人信息。

    py3study
  • Scrapy制作爬虫

    用户6172015
  • Scrapy框架入门

    其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Servi...

    皮大大
  • Python网络爬虫实战项目大全,最后一个亮了

    wcspider [1]- 微信公众号爬虫。使用爬虫搜索所有微信公众号资料及其文章,通过搜狗搜索获取公众号的openid,创建公众号历史消息请求URL,解析出历...

    Python中文社区
  • 【技术】Python开源爬虫项目代码:抓取淘宝、京东、QQ、知网数据

    scrapy_jingdong[9]- 京东爬虫。基于scrapy的京东网站爬虫,保存格式为csv。[9]: https://github.com/taizil...

    小莹莹
  • 最全Python爬虫:微信、知乎、豆瓣,一次“偷”个够!

    WechatSogou [1]– 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字...

    BestSDK
  • python爬虫必会的23个项目

    WechatSogou [1]– 微信公众号爬虫。  基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信...

    zhang_derek
  • 基于Scrapy框架爬取厦门房价

    本文的运行环境是Win10,IDE是Pycharm,Python版本是3.6。 请先保证自己安装好Pycharm和Scrapy。

    潇洒坤

扫码关注云+社区

领取腾讯云代金券