1回答
我想从像价格这样的网站中提取信息，并将其作为值存储在字典中。然而，我正在尝试学习scrapy，所以我想知道如何使用它来实现这一点。下面是使用requests和BeautifulSoup时的效果 import numpy as npimport pandas as pd data["card"].append(n.text.strip())
data["
浏览 18提问于2021-11-16得票数 -1
回答已采纳
我尝试使用cmdline.execute将html代码存储到名为response的变量中，如以下代码所示，但在scrapy shell中无法存储和程序代码中断，谁能告诉我如何将原始html存储到变量中导入scrapy 从scrapy import cmdline linkedinnurl = "https://sta
浏览 7提问于2019-05-16得票数 2
回答已采纳
1回答
定义了items.py： title = scrapy.Field()link = scrapy.Field()item = CraigslistSampleItem()当我将
浏览 1提问于2015-05-28得票数 4
回答已采纳
我能够从经过身份验证的浏览器会话中获取JSESSIONID，并使用urlopener下载正确的页面，如下所示。cj.set_cookie(c1)
fh = opener.open(url)
但是，当我使用这段代码来创建刮擦请求时
浏览 2提问于2013-11-29得票数 4
2回答
我正在尝试收集一个域名下的所有网址使用Scrapy。我试着用CrawlSpider从主页开始抓取他们的网站。对于每个页面，我希望使用Xpath来提取所有href。并以类似键-值对的格式存储数据。键:当前URL值:此页面上的所有链接。item['value'] = hxs.select('//a/@href').extract()我将我的Ab
浏览 2提问于2013-09-20得票数 6
回答已采纳
我感兴趣的是使用来存储在Redis中刮过的物品。特别是，似乎是一个有用的特性。: author = scrapy.Field()基本上，我在中实现了自述文件的“使用”部分中的设置，并使蜘蛛yield成为Item对象，而不是普通的Python字典。现在，如果我使用命令行中的scra
浏览 25提问于2017-05-04得票数 1
回答已采纳
我是Scrapy的新手，在同一个脚本中调用多个爬虫项目时遇到了一些困难。我有三个抓取项目，分别抓取不同的网页，并将数据存储到SQLite中。但是我不知道如何使用一个Python脚本来管理这些项目。以下是我尝试过的内容: 1.我在官方文档中看到使用了CrawlerProcess，但是这段代码不能通过管道将数据存储到SQLite中。示例代码如下：from
浏览 3提问于2016-04-21得票数 0
1回答
我有一个脚本，它找到一个特定的关键字，并在.csv中写入关键字以及找到它的链接。但是，我必须等待抓取完成爬行，当完成时，它将实际输出.csv文件中的数据。# -*- coding: utf-8 -*- from scrapy import log
浏览 1提问于2015-12-02得票数 0
回答已采纳
在使用Scrapy将HTML下载到我的硬盘后(例如，使用带有字段HTML的内置项目导出器，或者将所有HTML文件存储到一个文件夹中)，我如何使用Scrapy再次从硬盘读取数据并执行管道中的下一步？
浏览 10提问于2017-06-20得票数 0
1回答
我使用python框架Scrapy来抓取网站并将数据存储在一个json数组中。要存储数据，我使用以下命令：但是，每次我调用此命令时，它都会在文件中创建一个新的JSON数组。有没有一种方法可以简单地附加到文件中已经存在的JSON数组中？
我意识到Scrapy提供了将项目发送到特定文件格
浏览 0提问于2014-01-29得票数 1
2回答
我正在尝试从网页的响应页面中的键中提取一些值。不幸的是，当我这样做时，它只返回键，而且我似乎无法获取这些值。因为每个键都是一个长列表，而且它们都是编号的，所以我似乎无法弄清楚如何为所有这些键获取值。例如，下面是我的工作代码：from scrapy.crawler import CrawlerProcess
from scrapy.loader import ItemLoaderfrom
浏览 1提问于2021-12-20得票数 0
回答已采纳
我正在尝试保存scrapy crawl命令的输出，我已经尝试过scrapy crawl someSpider -o some.json -t json >> some.text，但它不起作用，有人告诉我如何将输出保存到文本文件中...我的意思是通过scrapy打印的日志和信息……我正在尝试保存scrapy crawl命令的输出，但它不起作用。
浏览 5提问于2013-05-20得票数 12
回答已采纳
我希望将多个用户定义的参数传递给我的scrapy，因此我尝试遵循以下文章：。然而，当我遵循建议时，我会得到一个错误：Usage scrapycrawl [options] <spider>
crawl: error: running 'scrapy crawl' with more than one spider is no lo
浏览 1提问于2015-06-23得票数 6
回答已采纳
2回答
thelist表是一个实体列表--业务、博客、场所等--我已经为这些实体刮过目录站点(使用机械化、BeautifulSoup和regex)。数据表中的行id是"thelist_id“，它是返回到thelist表的外键。
现在，我想使用蜘蛛到每个实体的自己的网站和刮电子邮件。我计划使用python脚本从"thelist“中选择一个实体，并使用os.system运行scrapy并发送命令行参数。，scrapy应该<em
浏览 5提问于2015-10-19得票数 1
回答已采纳
我正在尝试转换一个scrapy脚本到一个exe文件。我正在使用pyinstaller.exe --onefile main.py将其转换为可执行文件。当我尝试打开dist文件夹中的main.exe文件时，它开始输出错误：我可以通过在dist文件夹中创建一个scrapy文件夹并从lib/
浏览 2提问于2018-05-24得票数 2
对于其余的值，我还会得到以下错误：'Phone'：value'_source'，KeyError：‘primaryPhone’*import scrapy
name = 'main
浏览 0提问于2020-07-17得票数 0
回答已采纳
我正在使用scrapy对数据进行爬行，并且我使用了来自scrapy的，它有一个类似python dict的api。我不希望将存储过程签名/存储过程调用构造或insert语句中的所有字段都参数化。第一个是postgres中的create table语句，第二个是使用item接口的scrapy。所以：
使用pyscopg2将一个类似python字典的实体导入postgres的
浏览 0提问于2012-07-13得票数 2
回答已采纳
我试图用Scrapy从网站中提取json数据，但我遇到了一些问题，比如当我运行我的爬行器时，没有给出错误，并且说爬行了0个页面。我还使用该命令将de输出存储到json文件中，以查看输出。(self.url % i, callback=self.parse)import scrapy
pric
浏览 1提问于2016-11-05得票数 1
我最困惑的地方是如何正确地向Scrapy Cloud和Scrapinghub提供API凭据，以便将解析后的项目发送到Google Cloud。我目前将我的脚本存储在Github上，并将其自动更新到Scrapy Cloud。这是为了使我的项目更容易更新，也是为了让其他人可以看到我的项目进度。我不相信我既可以手动上传JSON文件到Scrapy Cloud，又可以将我的项目存储在Github中。我只能将我的项目存储在Scrapy</
浏览 26提问于2018-09-07得票数 0
'<br>' 'something_2' }
值键的值是html片段，如何获得数据中的所有文本“值”。我正在使用scrapy，有什么方法可以通过scrapy响应get方法解析它吗？
浏览 5提问于2022-11-21得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
