修改scrapy中的CSV导出

文章/答案/技术大牛

发布

1回答

如何将爬行器的项目附加到列表中？

python、macos、list、scrapy

我正在使用一种基本的蜘蛛，从网站上的链接中获取特定的信息。我的代码如下所示：from scrapy import Requestfrom properties importPropertiesItem, ItemLoader class BasicSpider(scrapy</em

浏览 1提问于2017-01-04得票数 0

回答已采纳

3回答

python、csv、scrapy

我似乎遗漏了一些非常简单的东西。我所要做的就是用;代替,作为CSV导出器中的分隔符。scrapy crawl spidername --set FEED_URI=output.csv --set FEED_FORMAT=csv

浏览 0提问于2011-03-09得票数 5

回答已采纳

1回答

我想保存到一个(.csv)文件中。我该怎么做？

python、csv、scrapy、save

我使用(11.2)，我想保存到一个(.csv)文件中。我该怎么做？from scrapy.spiders import CSVFeedSpider name = 'cs_spider/'] start_urls = ['http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/

浏览 10提问于2022-02-22得票数 0

2回答

scrapy shell:将结果输出到文件

python、csv、scrapy、output

我如何在刮板壳输出结果到一个文件，最好是csv？我在我的bpython shell中有一个有趣的元素列表，我可以把它们做成item。但是如何将其重定向到文件呢？

浏览 2提问于2016-12-20得票数 2

回答已采纳

1回答

使用scrapy在csv文件中逐行写入一个元素

python、csv、web-scraping、scrapy、yield

我正在抓取这个页面：我想将其保存在CSV文件中，其中每行包含一部电影的记录。这是我写的蜘蛛： name = 'movies_spider' data[key] = (v

浏览 2提问于2016-08-08得票数 0

2回答

如何格式化Scrapy导出

python、scrapy

我目前将抓取的数据存储在一个项目中，以便以.csv格式导出：item['name'] = user.getName()该项目声明如下：hobbies = scrapy.Field()name,hobbies Tim, [['tennis'],[

浏览 0提问于2016-06-22得票数 0

4回答

从scrapy导出csv文件(不通过命令行导出)

python、csv、scrapy、export-to-csv、scrapy-spider

我成功地尝试从命令行将项目导出到csv文件中，如下所示：我的问题是:在代码中做同样的事情最简单的解决方案是什么？结束场景应该是，我调用并将这些项写入filename.csv

浏览 1提问于2014-08-06得票数 20

回答已采纳

2回答

Python Scrapy:如何让CSVItemExporter以特定的顺序写列

csv、scrapy

在Scrapy中，我在items.py中以特定的顺序指定了项，而我的爬行器又以相同的顺序指定了这些项。但是，当我运行爬行器并将结果保存为csv时，不会保持items.py或爬行器中的列顺序。如何让CSV以特定的顺序显示列。示例代码将非常感谢。谢谢。

浏览 0提问于2011-08-04得票数 12

1回答

爬行器不产生任何输出

python-3.x、web-scraping、scrapy、web-crawler

建立我的第一个网络刮刀。我只是想得到一个名字列表，并将它们附加到一个csv文件中。刮刀似乎起作用了，但不像预期的那样。输出文件只产生一个名称，这个名称总是被刮掉的。当我重新运行刮刀时，它总是换个名字。在这种情况下，写入csv文件的名称是Ola Aina。#Create the spider class name = "premSpider"

浏览 0提问于2020-12-08得票数 0

回答已采纳

3回答

Scrapy:覆盖以前导出文件的命令

python、scrapy、export、overwrite

设置导出新的spider_output.csv时，Scrapy将其附加到现有的spider_output.csv中。我能想到两种解决方案，命令终端在爬行之前删除现有的spi

浏览 18提问于2017-04-25得票数 3

回答已采纳

2回答

刮除:来自CSV的FormRequest，按顺序或使用搜索项导出。

python、scrapy

我是Python和Scrapy的新手，我制作了一个简单的爬虫，它使用FormRequest获取搜索结果页面上的标题，遇到了一些麻烦。基本上，这个想法是让一个csv充满搜索词，并通过相同的形式运行它们，从结果页面中获取标题，然后导出到另一个(或相同) csv。搜索结果很好--输出与期望/期望的一致。问题是，它按照页面加载的顺序导出标题，这意味着与原始csv</em

浏览 1提问于2017-09-03得票数 1

回答已采纳

1回答

通过urls的路径将数据导出到文件中

scrapy、web-crawler

当我从HTML页面导出数据时，如何在orde中更改scrapy的sorce代码以通过urls保存文件。我想把数据保存在http://example/big/ppp/b in d:/ppp/b.csv http://example/big&

浏览 0提问于2018-05-01得票数 0

回答已采纳

2回答

刮擦未保存数据

python-2.7、scrapy

# -*- coding: utf-8 -*-from scrapy.spidersimport CrawlSpider, Rule fr

浏览 2提问于2017-02-27得票数 0

回答已采纳

2回答

Python :保存到csv/json不能正确编码Latin2

python、scrapy

我对Scrapy很陌生，我制作了一只简单的蜘蛛，可以在我的本地新闻网站上搜索标题和评论数量。它刮得很好，但我的语言编码有问题。我创建了一个Scrapy项目，然后通过anaconda提示符运行该项目，将输出保存到如下文件(来自项目目录)：当我用以下代码打开json文件时： with open('test.csv', 'r', encoding =

浏览 5提问于2020-11-22得票数 0

1回答

将剪贴画导出为csv

python、scrapy

我想通过以下方式使用scrapy from scrapy.crawler import CrawlerProcess 'USER_AGENT; Windows NT 5.1)' }) process.start() 它适用于my_super_scraper，但我想不出如何导出到CSV。我在文档中也找不到它。

浏览 12提问于2019-04-29得票数 0

回答已采纳

1回答

如何使用Jupyter Notebook存储抓取爬虫解析函数中的数据

python、scrapy、web-crawler

class archiveorg_spider(scrapy.Spider): name = 'youtube_link_crawler' yield scraped_info 如何将"scraped_info“存储到CSV文件中？

浏览 28提问于2020-10-12得票数 0

1回答

打印项键作为CSV中的标题

python、csv、scrapy

我有一个正在进行的刮取项目，我试图使用管道将数据导出到csv文件，并且我希望将项目键打印为csv文件的第一行。我的管道代码在下面(如果有必要，我可以发布更多的代码，但我想这就足够了)。提前谢谢。import csv self.csvwriter = csv.writer(open('items

浏览 0提问于2016-08-11得票数 0

回答已采纳

1回答

在scrapy* csv文件中保留前导零*

python、csv、web-scraping、scrapy

在将邮政编码导出到scrapy中的csv文件时，我需要保留前导零。我有以下导出器要实现，但它对我没有帮助。import csv quoting= csv.QUOTE_ALL class QuoteAllCsvItemExporter(CsvIt

浏览 0提问于2020-06-01得票数 0

1回答

您好，我是一个新手，我正在尝试使用scrapy抓取一个特定的站点，但是我的scrapy程序没有返回任何东西

python、web-scraping、scrapy

我到处寻找类似的问题，但我还没有找到任何真正解决这个问题的方法。下面是我的代码： import scrapy def get_responsequotes')] start_urls.append(site.format(str(number))) yie

浏览 6提问于2020-10-15得票数 0

回答已采纳

3回答

如何将Scrapy中的csv导出器分隔符改为分号？

python、csv、scrapy

我是新来Scrapy的。我读过几篇关于这个工具的讨论。我在导出csv文件时遇到问题。我正在删除带有逗号的数值。csv exporter的默认分隔符是逗号，因此在Excel中打开生成的文件时会遇到一些问题。提前感

浏览 4提问于2018-07-17得票数 1

点击加载更多

如何将爬行器的项目附加到列表中？