我只是想知道为什么当我有url = 'site1'，'site2‘并且我使用.crawl()从脚本运行两次scrapy时，在一行中如下所示 def run_spiders():
process.crawl
浏览 45提问于2019-02-24得票数 2
我是新的网络刮刮使用刮痕。我正在尝试刮一个网站(请参考代码中的urls )。从该网站，我试图废除‘%年“表下的信息，并将数据传输到json文件。在执行命令时，当"'NoneType‘对象不可迭代“时，我收到了一个错误：
import scrapy name = "quotes"
def
浏览 0提问于2018-06-19得票数 0
回答已采纳
我正试着登录-使用刮伤溅完全相同的方式，只刮擦。我看过文档，，它说"SplashFormRequest.from_response也被支持，并按照刮除文档中的描述工作“，但是，简单地更改一行代码和更改splash中描述的设置不会带来任何结果。代码：from scrapy_splash import SplashRequest
name =&#
浏览 7提问于2017-01-25得票数 0
回答已采纳
我正在尝试使用scrapy从英国公司那里获取一些信息。我通过shell和他的命令与网站建立了连接。scrapy shell https://beta.companieshouse.gov.uk/search?我试着把它放到一个程序中，这样我就可以把它导出到csv或json中。但是我很难让它工作..这就是我得到的； import scrapy
name
浏览 26提问于2019-03-14得票数 0
回答已采纳
我正在使用这段Python代码从维基百科获取10000个URL： name = "wikipedia-crawler"
def start_requests(self):for page_counter in range(0, 10000
浏览 0提问于2018-02-03得票数 0
1回答
我想使用scrapy runspider scrapy.py运行这个scrapy文件，它没有任何如何使用自定义设置的文件，比如'CONCURRENT_ requests '：1，但是当start_requests被调用时，同时加载所有的urls请求
self.urls = self.mongo.get_latest_urls(confi
浏览 0提问于2018-06-20得票数 0
db.closeDB() for name in result:
urls.append(self.user_info_url.format似乎在没有输出字符串start_requests响应的情况下暂停，函数parse_user产生另一个请求，但是函数start_requests中的其余请求在响应被处理之后才能产生，在这里，屈服操作形成了一个环它似乎是同步<
浏览 2提问于2021-02-19得票数 0
回答已采纳
2回答
我有一个大约2211个起始urls的列表，并抓取了一些，但不是全部。当我将start_url设置为一个单独的网址时，它会抓取网址，如果我将网址放在一个很大的列表中，scrapy就不会抓取。是否对start_urls设置了限制from pymongo import MongoClientfrom scrapy.selector import Selector#from scrapy.
浏览 0提问于2014-12-31得票数 4
我从阿里巴巴网站上删除数据的代码：
name = 'alibot' start_urls = ['https://www.alibaba.com/showroom/acrylic-wine-box_4.html']报废，但我希
浏览 1提问于2018-08-19得票数 0
回答已采纳
我是Python和Scrapy的新手。我有一个项目。在爬行器中有这样一段代码： name = "project" start_urls= ["https://domain.com/%d" % i for i in range(12308128,12308148)]
我想从txt文件(或csv文件)中<
浏览 28提问于2017-01-24得票数 1
回答已采纳
我正在尝试创建一个蜘蛛包"Scrapy“，它得到一个URL列表并对它们进行爬行。我搜索了堆叠溢出的答案，但找不到能解决这个问题的东西。我的脚本如下： name = "Try"
superdef start_requests(self):
print( self.start_urls</em
浏览 2提问于2017-12-31得票数 0
我正在将第二个变量(ID)传递给我的抓取程序。作为一名python初学者，我有点被困在这里。如何做到这一点呢？将所有URL附加到start_urls。我知道该行是ID，但是如何将它与URL关联起来呢？results = curb.fetchall()使用URL启动请求时，我需要将ID与相应的URL一起传递，def start_requests(self):
浏览 0提问于2021-04-01得票数 0
1回答
刮擦蛛网代码不提供输出。
、、、
我刚接触过scrapy和Ubuntu 20，但对Python的函数式编程和面向对象编程有很好的了解。 start_urls = ['http://quotes.toscrape.com/']
forurl
浏览 8提问于2022-01-13得票数 -2
回答已采纳
这是我的代码：from scrapy.spider import BaseSpiderimport= []
print self.start_urls
yield self.make_re
浏览 1提问于2015-01-06得票数 1
回答已采纳
爬行器将抓取，但网站，但我不断得到404HTTP状态码是不处理或不允许的。我的代码是否完全正确？class QuuickSpider(scrapy.Spider):
myBaseUrl = "https:
浏览 1提问于2019-08-02得票数 0
1回答
我在linux上使用的是scrapy 0.16.2版本。我在运行：我得到了这个错误，它阻止了scrapy (挂起并且不会自动完成，只有^C停止它# Stay within these domains when crawling
start_urls__class__.st
浏览 2提问于2012-11-20得票数 2
回答已采纳
4回答
我需要创建一个用户可配置的网络蜘蛛/爬虫，我正在考虑使用Scrapy。但是，我不能硬编码域和允许的URL regex:es --这将在GUI中配置。如何(尽可能简单地)使用Scrapy创建一个爬行器或一组爬行器，其中域和允许的URL regex:es是动态可配置的？例如，我将配置写到一个文件中，然后爬行器以某种方式读取它。
浏览 2提问于2010-03-07得票数 12
回答已采纳
2回答
我尝试过的代码在回调函数中出现了一个错误，但我无法解决它。是否有任何方法使我的代码可用，或者以列表格式进行回调？from ..items import AppItem 'fun1': 'http://example1.com', name = 'app'
def start_reques
浏览 4提问于2021-11-25得票数 0
回答已采纳
正式文档对scrapy.Request.priority的解释如下：scrapy version: 2.6.2class TestSpider(scrapy.Spider):
name =custom_setting
浏览 3提问于2022-07-26得票数 0
云服务器
ICP备案
云直播
腾讯会议
对象存储
腾讯云开发者
