我正在尝试从安装在USB棒上的WinPython上运行一个抓取网络爬虫,这样爬虫就可以在任何windows计算机上使用,而不需要在桌面上安装python。
我已经安装了WinPython (32位,2.7.6.4),并使用pip安装了除pyOpenSSL之外的所有依赖包--为此我下载了二进制文件。在那之后,我安装了scrapy。但是,每当我在命令提示符中键入scrapy时,都会出现一条错误消息:
'scrapy' is not recognized as an internal or external command, operable program or batch fil
我正在学习爬虫,在一些基本的爬虫之后,我尝试从github下载谷歌学者爬虫大师,看看它是如何运行的,在几个我可以修复的错误之后,我遇到了一个ModuleNotFoundError: No module named 'proxy'错误(middleware.py文件,from proxy import PROXIES行是问题)。
这段代码有一些问题,其中包含python 3.x版本中不再支持/建议的解决方案,包括后来被重命名/移动的模块,但我无法确定这是否也是这种情况,希望能得到帮助。