1回答
import scrapyfrom scrapy.utils.response import open_in_browser time.sleep(6) yield scrapy.Request
浏览 3提问于2020-02-07得票数 0
我有一个蜘蛛，我想在每个请求之间有一个延迟，但是我不希望它是一个固定的数，而是两个界限之间随机的时间，我怎么能做到呢？
浏览 2提问于2017-01-27得票数 4
回答已采纳
我从来没有用过Scrapy。请帮帮我！我想为"next_link“中的每个请求设置一个延迟获取获取class CVSpider(scrapy.Spider): custom_settings = { 'RANDOMIZE_DOWNLOAD_DELAYretu
浏览 2提问于2017-04-07得票数 0
1回答
我想知道，当在设置中指定DOWNLOAD_DELAY时，Scrapy是如何处理重复的。例如，如果我添加一个5秒的DOWNLOAD_DELAY，Scrapy将在每个请求之间等待5秒。但是，如果Scrapy面临一个应该被忽略的重复请求，Scrapy会在下一个请求之前等待5秒吗？
浏览 5提问于2021-02-27得票数 0
回答已采纳
1回答
每只蜘蛛随机等待
、、、
我希望在请求之间使用随机等待，并将等待设置为每一个刮板。import timetime.sleep(np.random.normal(loc=avg, scale=stddev))这在刮痕上有可能吗？也许是一个定制的中间件？
浏览 3提问于2016-06-24得票数 0
回答已采纳
我将编写数百个爬虫来抓取不同的静态网页，所以我选择Scrapy来帮助我完成我的工作。
在工作过程中，我发现大多数网站都很简单，不会防蜘蛛。但是我发现很难在scrapy.setting.py文件中设置一个套装DOWNLOAD_DELAY。有太多的爬行器要编码，为每个爬行器找到合适的DOWNLOAD_DELAY会耗尽我的时间。我想知道哪些型号的爬虫加载和使用DOWNLOAD_DELAY参数，以及如何编写程序在检测服务错误时自动增加DOWNLOAD_DELAY (爬虫请求太频繁)。
浏览 2提问于2019-01-17得票数 1
1回答
我试着从这个https://www.matchesfashion.com/intl/mens/shop/shoes?page=1网址抓取所有的鞋子数据，按照下一步按钮一直到第7页。但是当我尝试这样做的时候，我得到的是HTTP状态码不能处理或不允许的错误。 ? ?
浏览 19提问于2020-10-16得票数 0
当我运行爬行器时，我必须发送一个扩展设置到scrapy。，它真的非常简单：但是，当我想根据模块请求将其插入到python脚本中时，我对setting=DOWNLOAD_DELAY=2有点困惑，因为它不遵循通常的格式(key=value)。所以我试了一下：
r = reque
浏览 0提问于2013-02-22得票数 3
回答已采纳
最起码的例子： 'DOWNLOAD_DELAY': 10, # defaultvalue scrapyd usage: -d arg1=val1
浏览 2提问于2021-11-08得票数 2
回答已采纳
查看scrapy的download_delay和Concurrent_requests文档，我的理解是:如果我有'CONCURRENT_ requests '：25和1秒的download_delay，这意味着一旦scrapy请求25页，scrapy将等待所有25页的下载，然后等待1秒，然后再次请求25页。如果我使用0秒的download_delay，scrapy在没有1秒延迟的情况下做同样的事情。下面是我的代码：
class DetailsxxxS
浏览 48提问于2017-02-01得票数 0
api_key=YOURAPIKEY&url=' + a
price_cells = soup.select
浏览 0提问于2019-07-29得票数 0
我有困难使用Scrapy抓取javascript网站。似乎Scrapy忽略了规则，只是继续正常的刮取。谢谢。deny=('catalogue\/category')), callback='first_tier'), custom_settings = { 'scrapy_splash.Spl
浏览 0提问于2019-02-19得票数 1
回答已采纳
2回答
为友好的爬行提供睡眠
、、、
如何从urls列表中下载并在每次下载之间启动暂停？http://manuals.info.apple.com/cs_CZ/Apple_TV_2nd_gen_Setup_Guide_cz.pdfhttp://manuals.info.apple.com/cs_CZ/imac_late2012_quickstart_cz.pdf
http://manuals.info.apple.com/cs_CZ/ipad_4th-ge
浏览 1提问于2014-09-18得票数 8
回答已采纳
2回答
今天，我了解到，scrapy.Request不会以与它们已经启动的顺序相同的顺序结束。但是，我今天学到的是，yield scrapy.Request不会按照与它们开始时相同的顺序结束。在我的例子中，在每一页上，每页有25个广告，我启动yield scrapy.Request(add_url, callback=self.parseAd)以从每个广告中获得更多信息。在此之后，我将使用yield scrapy.Request(next_page_url)进入下一页。
但是我注意到的是，page2的一些广告会在page1的所有广
浏览 1提问于2018-05-08得票数 1
回答已采纳
我正在研究在Scrapy蜘蛛中实现爬行延迟的方法。我想知道是否可以从蜘蛛中访问反应堆的方法？这将使页在n秒钟后很容易地被解析。
浏览 2提问于2011-12-04得票数 1
回答已采纳
settings.py
CONCURRENT_REQUESTS = 32 DOWNLOAD_DELAY = 0.33现在速度为180/min(有时为200)
浏览 1提问于2019-06-30得票数 0
回答已采纳
当我试图在蜘蛛中获取时，我会得到以下错误：[scrapy.downloadermiddlewares.retry] DEBUG: Crawled (200) <GET https://tampa.craigslist.org/search/jjj?
浏览 2提问于2018-04-12得票数 2
json', 'DOWNLOAD_DELAY'FEED_URI': os.path.join('data', 'other_origin', '{}.json'.format(session_date)),
浏览 2提问于2017-05-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
