以第一列为ID的Scrapy输出CSV文件
以第一列为ID的Scrapy输出CSV文件
提问于 2019-11-13 13:07:46
我对Scrapy图书馆还是个新手。我试图通过以下方法从Scrapy输出简单的CSV文件：
scrapy crawl scraper -o file.csv
第一列基本上是索引行数，就像我们可以使用Pandas库这样做一样：
pandas.to_csv(path_or_buf=name, index_label='ID')
谢谢你的帮助。
回答 3
Stack Overflow用户
回答已采纳
发布于 2019-11-14 00:35:19
您可以为每个ID创建一个类变量并增加它：
class MySpider(scrapy.Spider):
......
index = 1
def parse(self, response):
....
item["ID"] = self.index
self.index += 1Stack Overflow用户
发布于 2019-11-13 14:08:54
使用吝啬的出口商无法做到这一点。你要么用熊猫，要么用csv包。
Stack Overflow用户
发布于 2019-11-14 09:59:00
- 创建您自己的
CsvItemExporter子类，以满足您的需要 - 定义
FEED_EXPORTERS设置，以便您的子类用于CSV文件。例如：
FEED_EXPORTERS = {'csv': 'my_project.exporters.MyCsvItemExporter'}页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/58837841
复制相关文章
相似问题
腾讯云开发者
