1回答
我正在导入最新的scrapy库来抓取网站。我没有使用芹菜(我对它知之甚少，但在与此相关的其他主题中见过它)。每次访问这个url时，我该如何获取并运行一个新的反应器呢？
非常感谢
浏览 11提问于2017-06-28得票数 1
回答已采纳
1回答
每当我试图重新运行示例时，我都会得到错误"error.ReactorNotRestartable() error.ReactorNotRestartable“
我发现我可以通过卸载然后重新安装扭曲库来避免这个错误
浏览 12提问于2022-04-15得票数 0
Scrapy是在扭曲的互联网框架上编写的，该框架有一个无法在过程中重新启动的反应器。它给出了以下错误消息：我的问题是“如何启动twisted.internet.reactor?”
浏览 1提问于2014-02-17得票数 1
1回答
我想知道有没有办法重启抓取爬虫。process.start() print(link) 如果我尝试调用start()两次，它会运行一次，然后给我这个错误： raise error.ReactorNotRestartable()
twisted.internet.error.ReactorNotRestartable 我知道这是一个一般性的问题，所以我不希望有任何代码，但我只想知道我如何解决这个问题。
浏览 16提问于2020-12-30得票数 2
回答已采纳
buildbot_venv/lib/python2.7/site-packages/twisted/internet/base.py", line 754, in startRunningReactorNotRestartable
浏览 2提问于2019-04-10得票数 1
回答已采纳
tspider')process.start(stop_after_crawl=False) 当我运行这段代码时，我得到了这个错误： raise error.ReactorNotRestartable()
twisted.internet.error.ReactorNotRestartable 当我在终端中滚动时，我看到成功地运行了两个爬行器，并且成功地抓取了我想要获取的数据。
浏览 158提问于2020-07-09得票数 0
编辑：我仍然有一个错误说：
ERROR: twisted.internet.error.ReactorNotRestartable
浏览 1提问于2013-10-30得票数 2
回答已采纳
2回答
我正在尝试运行一个抓取机器人，将运行蜘蛛重复在一个列表中的每个网址。allowed_list))爬虫本身在第一个url上运行得很好，但只要循环命中它的错误twisted.internet.error.ReactorNotRestartableCrawler\venv\lib\site-packages\twisted\internet\base.py", line 765, in startRunning
raise error.ReactorNotRe
浏览 49提问于2021-02-14得票数 0
我写了从Python script.Now启动抓取爬虫的代码，我想要一致的绕过网站列表，即我为一个网站运行爬虫，当它完成抓取时，我关闭爬虫并重复调用另一个网站的爬虫。process.crawl('procurement', start_url=start_url,domain=domain,time=current_time)但是当我开始抓取第二个站点时，出现了错误twisted.internet.error.ReactorNotRestartable。解决方案
浏览 0提问于2019-04-27得票数 0
我在两个文件(TrialTest1和test_trial2.py)中编写了两个测试类(test_trial1.py和test_trial2.py)，它们大部分相同(唯一的区别是类名)： raise error.ReactorNotRestartable()
浏览 3提问于2013-09-20得票数 7
回答已采纳
我正在尝试发送多个抓取请求与谷歌云函数。但是，我似乎得到了ReactorNotRestartable错误。例如，我尝试将导入和初始化过程放在函数内部，而不是外部，以防止导入缓存，但这不起作用： # main.py
from
浏览 24提问于2020-04-07得票数 3
回答已采纳
3回答
所以我做了一个项目，使用多个蜘蛛来抓取不同的网站。我想让蜘蛛再次运行时，用户说“是”时，要求继续。anaconda3/lib/python3.8/site-packages/twisted/internet/base.py", line 843, in startRunningtwisted.internet.error.ReactorNotRestartable
所以我想使用while循环
浏览 23提问于2021-12-09得票数 1
回答已采纳
2回答
我有一个Django站点，当用户请求它时就会发生抓取，并且我的代码在一个新的进程中启动了一个Scrapy爬行器独立脚本。当然，这并不适用于用户数量的增加。第一个和第二个爬行器成功运行，但随后的爬行器将抛出ReactorNotRestartable错误。
任何人都可以分享在芹菜框架中运行蜘蛛的任何技巧？
浏览 0提问于2012-07-18得票数 39
回答已采纳
) process.start()twisted.internet.error.ReactorNotRestartable
我找到了很多文章，但没有找到合适的方法。
浏览 2提问于2017-04-29得票数 0
1回答
crawl_job()现在，蜘蛛第一次正确地执行，然后在时间延迟之后，蜘蛛再次启动，但是就在它开始抓取之前local/lib/python3.5/dist-packages/twisted/internet/base.py", line 684, in startRunningtwisted.
浏览 1提问于2017-11-29得票数 4
回答已采纳
我想点击django网站上的一个按钮，我的蜘蛛应该开始抓取。我尝试CrawlerProcess，但因为我使用不同的蜘蛛。我决定使用CrawlerRunner。twisted.internet.error.ReactorNotRestartable因此，我尝试按照下面的代码解决方案，但是爬行器永远不会停止，它说的是ReactorAlreadyRunning
浏览 1提问于2020-08-26得票数 1
回答已采纳
1回答
因此，我有一些使用MediaMetadataRetriever的getFrameAtTime获取视频和帧的代码。到目前为止，这个方法工作得很好。然而，我想列出在列表视图中录制的视频，并有一个附带的缩略图，供getFrameAtTime屏幕抓取使用。屏幕抓取不会另存为正方形，使用具有偶数宽/高尺寸的createBitmap可能会扭曲缩略图。
浏览 1提问于2012-04-06得票数 0
我有一个Django 2.0，芹菜4和Scrapy 1.5设置，在django自定义命令中有一个Spider，我需要定期调用这个命令，我使用芹菜调用这些命令，它们涉及到抓取一个网页并将一些结果保存到数据库中问题是，当我运行芹菜任务时，我的蜘蛛只会在第一次执行，第二次得到ReactorNotRestartable错误。据我所知，这个问题是因为扭曲反应堆不止一次重新启动，这是不可能的。我已经研究过这些问题-- 、、和许多其他涉及相同错误的问题，但在使用Django保存到数据库时，它们都没有考虑并发性问题。
浏览 0提问于2018-03-18得票数 2
回答已采纳
1回答
同一个爬行器被多次调用(和我们在JSON文件中的行数一样多)，程序会引发一个ReactorNotRestartable错误。从schedule.run_pending行调用爬行器。我非常确定这个问题来自于对同一个爬虫的多次调用，因为程序实现了抓取的第一步(第一个URL是第一个小时)，但是第二个步骤不起作用。 我不知道如何处理这个反应堆的问题，你能给我一些意见吗？process.crawl(MySpider, url_start = url) raise
浏览 13提问于2019-07-02得票数 0
1回答
return data print "No Internet Access"
我正在尝试多线程(与4个线程)的获取进程，而不是多进程和不使用扭曲Url抓取的输出文件是csv，其中有7行我想去掉的头信息。我想循环每个符号在它自己的文件。我以前用过这个抓取代码。我可以得到一个只有一个元素的符号列表。
浏览 3提问于2011-02-01得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
