1回答
当抓取在爬行时，是否可以访问数据？我有一个脚本，它找到一个特定的关键字，并在.csv中写入关键字以及找到它的链接。但是，我必须等待抓取完成爬行，当完成时，它将实际输出.csv文件中的数据。我也试图随机改变我的用户代理，但它不起作用。如果不允许我在一个问题中回答两个问题，我将把它作为一个单独的问题发布。
#!/usr/bin/env p
浏览 1提问于2015-12-02得票数 0
回答已采纳
1回答
我已经做了一个抓取爬虫，去这个网站https://www.cartoon3rbi.net/cats.html然后按照第一个规则打开每个节目的链接，通过parse_title方法获得其标题，并在第三个规则打开每一集的链接它的工作很好，我只需要知道我如何才能做一个单独的csv文件为每个节目的剧集的名称的标题在parse_title方法被用作csv文件的名称。有什么建议吗？#
浏览 9提问于2019-10-30得票数 0
1回答
我正在抓取这个页面：
我想将其保存在CSV文件中，其中每行包含一部电影的记录。这是我写的蜘蛛： name = 'movies_spider' data[
浏览 2提问于2016-08-08得票数 0
我运行下面的爬行器：from ..items import PythonlibrariesItem
return item
命令：$ scrapycrawl lib
浏览 0提问于2017-04-17得票数 0
我用Scrapy编写了一个蜘蛛来从quotes.toscrape.com中提取数据，但是当我将提取出来的数据导出到csv时，“(引号符号)正在将自己转换成字符，比如-欧元。下面是在蜘蛛下编写的代码，可以在windows机器上的崇高text3上看到。# -*- coding: utf-8 -*-
浏览 0提问于2018-06-19得票数 2
回答已采纳
我正在抓取雅虎的股票数据！金融。我的问题是，使用LinkExtractor，如果每只股票有多个页面的数据，我如何组合给定股票的所有定价数据。/td[@align="right"]/a[@rel="next"]'), follow=True),这个start_url将有许多页的数据然后，def sto
浏览 0提问于2015-05-25得票数 2
3回答
设置导出新的spider_output.csv时，Scrapy将其附加到现有的spider_output.csv中。我能想到两种解决方案，
浏览 18提问于2017-04-25得票数 3
回答已采纳
我正在写一个脚本，它去特定的网站并收集信息，收集信息后，它应该保存到一个文件中的所有(它会更好，如果它保存到数据库)。我读过关于FEED EXPORT和Pipeline的文章，但是我是Python和Scrapy的新手，所以我还没有找到解决方案。import scrapy
class BrickSetSpider(<e
浏览 10提问于2017-02-18得票数 0
回答已采纳
1回答
我正在使用一种基本的蜘蛛，从网站上的链接中获取特定的信息。我的代码如下所示：from scrapy import Requestfrom properties importreturn L.load_item()
process.crawl(BasicSpider)我现在想要的是将</
浏览 1提问于2017-01-04得票数 0
回答已采纳
2回答
我有大约1100万个网址，这应该是解析和数据应该提取。我想和Scrapy Crawler一起做这件事。for link in reader:因此，
浏览 2提问于2015-08-16得票数 0
所以我已经用Scrapy写了我的第一个刮板，我在接下来的步骤中遇到了一些麻烦。我想每天运行刮板，可能是使用cron，并跟踪我抓取的值的变化。当我导出到json或csv文件，然后再次运行刮板程序时，新数据被转储到同一文件中。有没有一种方法可以把每个抓取的导出文件放到一个单独的文件中</e
浏览 1提问于2014-01-17得票数 1
4回答
我成功地尝试从命令行将项目导出到csv文件中，如下所示：我的问题是:在代码中做同样的事情最简单的解决方案是什么？当我从另一个文件中提取文件名时，我需要它。结束场景应该是，我调用并将这些项写入filename.csv<
浏览 1提问于2014-08-06得票数 20
回答已采纳
因此，如果它遇到一个pdf文件，它将把响应通过一个PDFReader，否则它将读取html文件的原样。这是我代码的一部分，但它不起作用： name = "spyder_OLD" ct = response.headers.get("content-type&quo
浏览 1提问于2018-09-23得票数 0
回答已采纳
我在pandas中创建了多个数据框，我想将每个数据框的输出导出到同一个excel文件中的单独选项卡中。我知道如何将每个数据框导出到它自己的csv，但是如何将每个数据框的输出放入一个excel文件？我仅尝试将数据导出
浏览 14提问于2019-09-12得票数 1
回答已采纳
我有下面的代码，它从一个网站抓取所有可用的网页。这完全是crawling有效页面，因为当我使用打印函数时-我可以从'items'列表中看到数据，但是当我尝试使用.csv作为目标文件转储统计数据时，我看不到任何输出。(在命令提示符中使用此命令：scrapy crawl craig -o test.csv -t csv)，请帮我把数据输出到一个csv文件中<
浏览 0提问于2015-05-01得票数 0
回答已采纳
1回答
最初，我使用scrapyd在本地部署了我的刮伤项目。 newEffDate = datetime.datetime.now() yield scrapy.RequestnewDate': newEffDate,
浏览 1提问于2017-02-16得票数 0
回答已采纳
目前，我使用scrapy抓取一个网页的多个页面，并将数据导出到CSV文件。每天，爬行器都会遍历页面并保存数据；但是，它会覆盖前几天的数据。我想知道如何对管道进行编程，使其只在同一文件中从文件末尾开始写入CSV。通过这种方式，我可以将以前抓取的所有数据保存在一个位置。
浏览 0提问于2012-07-20得票数 0
1回答
在将邮政编码导出到scrapy中的csv文件时，我需要保留前导零。我有以下导出器要实现，但它对我没有帮助。import csv
quoting= csv.QUOTE_ALL
class QuoteAllCsvItemExpor
浏览 0提问于2020-06-01得票数 0
2回答
到目前为止我所做的:from selenium.webdriver.common.keys import Keysurllink = link.Url如何获取url循环的文本数据，并将url和爬行的文本数据保存到CSV
浏览 3提问于2020-03-04得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
