我有个问题。我需要停止函数的执行一段时间,但不能停止整个解析的实现。也就是说,我需要一个非阻塞的暂停。
它看起来像这样:
class ScrapySpider(Spider):
name = 'live_function'
def start_requests(self):
yield Request('some url', callback=self.non_stop_function)
def non_stop_function(self, response):
for url in ['url1', 'url2', 'url3', 'more urls']:
yield Request(url, callback=self.second_parse_function)
# Here I need some function for sleep only this function like time.sleep(10)
yield Request('some url', callback=self.non_stop_function) # Call itself
def second_parse_function(self, response):
pass
函数non_stop_function需要停止一段时间,但它不应该阻塞输出的其余部分。
如果我插入time.sleep()
-它会停止整个解析器,但我不需要它。是否可以使用twisted
或其他方法停止一个函数?
原因:我需要创建一个非阻塞函数,它将每隔n秒解析一次网站页面。在那里,她将获得urls并填充10秒钟。已经获得的URL将继续工作,但主要功能需要休眠。
更新:
感谢TkTech和viach。一个答案帮助我理解了如何创建一个挂起的Request
,第二个答案是如何激活它。这两个答案是相辅相成的,我为Scrapy做了一个很好的非阻塞暂停:
def call_after_pause(self, response):
d = Deferred()
reactor.callLater(10.0, d.callback, Request(
'https://example.com/',
callback=self.non_stop_function,
dont_filter=True))
return d
并对我的请求使用此函数:
yield Request('https://example.com/', callback=self.call_after_pause, dont_filter=True)
https://stackoverflow.com/questions/36984696
复制相似问题