Scrapy报错及解决方案集锦

报错：Unable to find vcvarsall.bat

原因：缺少VC环境

解决：https://www.microsoft.com/en-us/download/confirmation.aspx?id=44266

下载安装Microsoft Visual C++ Compiler for Python 2.7

报错：'openssl/opensslv.h': No such file or directory，Visual C++ for Python\\9.0\\VC\\Bin\\cl.exe' failed with exit status 2

原因：缺少OpenSSL

解决：https://launchpad.net/pyopenssl

下载安装OpenSSL

报错：ImportError: No module named win32api

原因：缺少Win32环境

解决：https://sourceforge.net/projects/pywin32/files/pywin32/

下载安装最新版pyWin32

报错： DEBUG: Forbidden by robots.txt: <GET https://www.baidu.com>

原因：默认scrapy遵守robot协议（规定站点允许的爬虫机器爬取的范围），所以会先请求这个文件查看自己的权限

解决：修改setting.py中的ROBOTSTXT_OBEY = False

报错： ImportError: No module named items

原因：spiders 目录中的.py文件不能和项目名同名

解决：修改项目名或Python文件名