嗨,我想做一个网页爬虫,检查URL的数据,如果我做一个简单的Gui,使脚本更容易查找变量的数据,添加代码的gui会使我的网络爬虫效率降低吗?
我需要爬虫尽可能高效,能够尽可能快地处理数据。为这个Python脚本制作一个gui,会不会妨碍web爬虫的性能?
发布于 2015-01-27 18:57:55
只要您清楚地将GUI逻辑与处理逻辑分离开来,它就不应该这样做。不过,与所有优化一样,最好的方法是首先使其正常工作,然后在运行速度不够快的情况下对其进行配置和优化。
我建议你先创建你的网络爬虫,忘记GUI。如果你认为它太慢的话,可以对它进行分析和优化。建立它的目标是它是一个重要的图书馆。一旦从命令行运行,然后创建GUI前端,并将web爬行库函数和类绑定到GUI中的按钮和字段。这种清晰的分离应该确保GUI逻辑不会影响web爬行的性能。特别是,尽量避免在web爬行过程中使用状态信息更新GUI。
https://stackoverflow.com/questions/28177807
复制相似问题