我正在使用scrapy-splash来抓取一个使用javascript加载结果的汽车经销商网站,但我一直收到错误504 Gateway Time-out。 我有docker和Win10,我不认为问题出在docker配置上,因为我可以用相同的代码抓取另一个站点。 import scrapy
from scrapy_splash import SplashRequest
from scrapy.loader import ItemLoader
from ..items import AutoItem
class Main_Spider(scrapy.Spider):
name =
起初,我的pc上只有一个磁盘wdc,win7 and debian9安装在它上,win7在debian9的S启动菜单中。今天,我购买并设置了一个新的硬盘(st),在它上安装了win10,然后又在上面安装了debian10。
📷
根据图像,wdc是WD2500AAKX-OOERMAO的缩写,st是ST1000VX000的引用。
重新启动并进入bios,如果我选择wdc来启动,我发现win10丢失了。
📷
我只能选择底线press F9 to use a different operating system,输入win7,没有win10。如果我选择wdc来启动,debian10和debian9
我通过sudo pip install scrapy安装了刮痕。它将python模块安装到站点包中,我可以在python环境中导入scrapy。但是,试图使用命令行工具会引发一个错误:
scrapy startproject demo
有错误的The program 'scrapy' is not currently installed.并告诉我安装python。
whereis scrapy没有输出。我厌倦了试图跟踪安装路径,所以我运行了find -name "*crap*",它也没有发现任何有用的东西。看来命令行工具不是由pip安装的。我漏掉了什么?
我正在尝试在Windows 10上安装scrapy,
请按照以下教程操作:
在使用conda install -c conda-forge scrapy安装anaconda之后,我在anaconda提示符和中写下了"scrapy“:
Fatal error in launcher: Unable to create process using '"c:\bld\scrapy_1564100571450\_h_env\python.exe" "C:\Users\Rodzice.Mateusz-PC\Anaconda3\Scripts\scrapy.e
刚刚安装了Scrapy,并希望安装Portia在Python2.7.6 (32位)Windows7 (64位)上连接到IPv4 DNS互联网服务。
在完成版本检查时获取以下输出错误。
C\> scrapy version
:0: UserWarning: You do not have a working installation of the service_identity
module: 'No module named service_identity'. Please install it from <https://pyp
i.python.org/
安装了qemu,创建了Windows10 vm,我可以从GUI启动和打开它。退出(退出,而不是关闭) KVM。
# virsh list --all
Id Name State
------------------------
- win10 shut off
然后我跑了:
# virsh start win10
Domain win10 started
再次列出的状况:
virsh list --all
Id Name State
-----------------------
3 win10 running
它在跑。
主机系
我在试着用刮痕。我确实安装了刮痕。我的python版本是2.7.9。在安装后,当我在终端中输入scrapy时,它会出现以下错误:
File "/usr/bin/scrapy", line 7, in <module>
from scrapy.cmdline import execute
File "/usr/lib/python2.7/site-packages/scrapy/__init__.py", line 48, in <module>
from scrapy.spiders import Spider
我正在使用python版本3.7。我使用命令pip install scrapy安装了这个包,该命令与其他依赖项一起成功安装。
然后我运行命令scrapy startproject newproject,这导致一个读取'scrapy' is not recognized as an internal or external command, operable program or batch file的错误。
我还在命令行上运行了命令scrapy,它给出了同样的错误。
注意事项:当我运行命令pip list时,scrapy是已安装的包之一。
请问如何解决这个问题?
环境Windows 7 (64) Python 2.7.3 (32) pip安装scrapy
我设置了路径C:\Python27;C:\Python27\Scripts
安装完所有的依赖库(lxml,openssl,pywin32,twisted,zope)后,当我通过pip安装scrapy时,我再也不会得到错误了,所以一切似乎都是按需安装的。
问题:
如果我尝试从python目录开始
C:\Python27> scrapy startproject new
'scrapy' is not recgonized as an internal command or ext
我想用python开发可视化代码,如何在windows上安装scrapy for python的可视化代码?
import scrapy
class SafetyCaseItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
casetitle = scrapy.Field()
casetype = scrapy.Field()
posttime = scrapy.Field()
caseurl = scrapy.Field
我正在以root用户模式在Linux中安装Scrapy: pip install Scrapy
Collecting Scrapy
Could not find a version that satisfies the requirement Scrapy (from versions: )
No matching distribution found for Scrapy 我还能怎么尝试呢?