Python-Selenium爬虫冻结，特别是在无头模式下(不可复制的bug)
Python-Selenium爬虫冻结，特别是在无头模式下(不可复制的bug)
提问于 2019-05-21 22:57:02
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。
这个bug似乎是随机的，也是不可复制的，这让我认为它是由被爬行的网站的资源利用引起的。
因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
下面是关于爬虫和bug的一些信息：
- 爬虫是使用Selenium和Python构建的。
- 这个错误发生在不同的网站和产品上。
- 该错误发生在“正常”模式，但更多发生在无头模式。
谢谢!
费利佩
回答 1
Stack Overflow用户
发布于 2020-07-30 17:06:51
如果问题与浏览器无关，那是因为代码忙于在无头模式下获取数据。如果代码在正常模式下工作，而不是在无头模式下工作，则只看到工作部分。
我猜你做了一个GUI。如果是这样的话，您将尝试访问GUI，但是使用相同的程序进行爬行。这就是GUI冻结的原因。
您可以通过使用线程库或任何其他多处理方法来解决这个问题。这将允许您同时运行多个进程。因此，您可以自由使用其他功能的GUI和爬一个网站，而不冻结。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56247296
复制相关文章
相似问题
腾讯云开发者
