我有多个URL要抓取存储在csv文件中，其中每一行都是一个单独的URL，我使用下面的代码来运行它 def start\\_requests(self):
if url != "":
yield scrapy</em
浏览 3提问于2020-07-21得票数 0
回答已采纳
2回答
我在目录中有一些JSON文件。在任何这些文件中，我都需要一些信息。我需要的第一个属性是"start_urls“的链接列表。我该怎么做？到目前为止，我<em
浏览 2提问于2018-01-05得票数 1
回答已采纳
现在，我可以在终端中通过这个命令运行：但是我想像一个简单的python脚本一样运行它。
浏览 14提问于2017-12-13得票数 9
回答已采纳
2回答
我如何在刮板壳输出结果到一个文件，最好是csv？
我在我的bpython shell中有一个有趣的元素列表，我可以把它们做成item。但是如何将其重定向到文件呢？
浏览 2提问于2016-12-20得票数 2
回答已采纳
我已经创建了一些从网站中提取链接的代码(PDF链接)，现在我需要下载这些PDF文件，但是我很难做到这一点。这是代码：
name = "all5" yield scrapy.Request(next_link,callback
浏览 0提问于2019-07-28得票数 0
回答已采纳
我正在尝试转换一个scrapy脚本到一个exe文件。我正在使用pyinstaller.exe --onefile main.py将其转换为可执行文件。当我尝试打开dist文件夹中的main.exe文件时，它开始输出错误：我
浏览 2提问于2018-05-24得票数 2
4回答
这是蜘蛛：from danmurphys.items import DanmurphysItem
namein urls: return itemimpor
浏览 8提问于2016-09-13得票数 6
回答已采纳
我使用(11.2)，我想保存到一个(.csv)文件中。我该怎么做？from scrapy.spiders import CSVFeedSpider
name = 'cs_spider/']
start_urls = ['http://ocw.mit.edu/courses/electrical-engineering-and-comp
浏览 10提问于2022-02-22得票数 0
1回答
我使用刮除从一个网站刮网址，并将结果保存在一个csv文件中。但是它只保存在一行中，而不是多行。我试图在堆栈溢出中搜索答案，但在vain.Here中是我的文件：from scrapy.item import Field, Item # print response.xpath('
浏览 1提问于2018-02-22得票数 0
回答已采纳
我在本地机器上有一个很大的csv，它只包含一个urls列表，没有其他我想要抓取的列，并从每个urls中提取特定的css元素。我已经完成了一个测试，不看csv，只做一个一次性的开始url。我不知道如何打开一个包含一百万个urls的大型csv，让scrapy遍历每个urls，然后再转到下一个。import scrapy
from ..items import stkscrapeItem
浏览 3提问于2020-04-30得票数 0
1回答
我的抓取蜘蛛查看csv文件并运行start_urls，其中包含csv文件中的地址，如下所示： with open('addresses.csvwhere='+row["Address"].replace(',','').replace(' ','+') f
浏览 1提问于2017-03-02得票数 3
回答已采纳
2回答
from scrapy import Spiderfrom scrapy.selector import Selector
print(price)
pass
这里，刮刀打印价格，但当我使用收益率时我想把价格存到csv文件里。如何使用“收益率”保存数据？
浏览 0提问于2018-10-15得票数 1
回答已采纳
1回答
试图错开两只蜘蛛：spider2从.csv中爬行，然后提取特定数据。FileNotFoundError: [Errno 2] No such file or directory: 'urls.csv'
看起来spider1无法首先触发，而且/或因为代码的顺序，那个python正在检查文件urls.csv，并且由于文件
浏览 7提问于2022-04-27得票数 0
1回答
li/a/img')): abs_path = os.path.abspath(path) #Path where I want to download
如何创建管道来将图像存储在我创建的绝对路径中，我检查了，但找不到改变存储位
浏览 0提问于2020-03-12得票数 0
回答已采纳
1回答
我已经用python编写了一个web爬虫，使用了Beautiful，并请求为一个项目抓取图像，但是速度很慢。我听说Scrapy要快得多，所以我安装了它并阅读了大量教程，但是我不知道如何在爬行器脚本的parse函数中实现爬虫。如果我提供到搜索结果的第一页的链接，它应该：
'id' 通过分析特定类的<a>标记来查找搜索结果中的页数，并根据特定类的<a>标记分析
浏览 3提问于2020-05-17得票数 1
回答已采纳
1回答
刮除-每个星形单独的输出文件
、、、、
我有一只皮肤粗糙的蜘蛛运行良好：import scrapy
url = response.urljoin(url)
yield scrapy.Request(url=url,callback=self.parse_detailsdiv.ce_text.first.la
浏览 0提问于2017-11-18得票数 3
2回答
…我有一个在shell中运行的scrapy代码，但当我尝试将其导出到csv时，它返回一个空文件。当我不进入链接并尝试解析描述时，它会导出数据 name = "dmoz" start_urls
浏览 0提问于2016-03-30得票数 0
我正在使用Scrapy和Python来抓取页面。我的目标是：我一直在试图让这个接口为XPATH工作--我相信这是语法的脱节，或者是href的位置脱节，但我还没有找
浏览 0提问于2022-02-16得票数 0
回答已采纳
1回答
我在刮伤日志中没有发现任何错误，只是什么都没有被提取。任何想法都会有帮助的！allowed_domains = ['medium.com', 'towardsdatascience.com'] buttonNormal"]/text()')
浏览 1提问于2020-02-24得票数 0
回答已采纳
我想在Spyder中使用Scrapy，而不是通过终端/shell使用它。我是一个windows用户，Scrapy版本1.8.0，pyhton 3.7.3，我正面临着BeautifulSoup的问题。例如，我试图从一个网站获取一个产品的价格，问题是它并不总是得到数据，但Scrapy在这里通过使用CSS选择器工作得很好。所以我想将Scrapy与Spyder或Vscode一起使用，因为我还有其他依赖于Sc
浏览 69提问于2019-12-14得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
