python爬虫scrapy极致教学开始了-工具篇

由于工作忙，好久没写了，今天来介绍下scrapy爬虫框架工具，但不是全部，后续有部分模块的需要用的时候才安装

1：系统win7 64位

2:解释器：anaconda最新版，内置Python3.5(同样是Python开发者吉多维护的，但已经安装了很多的包，比原始的Python好很多)

3：pycharm,目前来说比较好的IDE了，支持自动补全，也可以用其他的代替

4：数据库 MySQL（其他的有些数据库针对性强，有些很难搞，如果有需要再学其他数据库即可，这里只介绍用户数比较多开源免费比较大众的）

5：连接数据库软件Navicat

：以下是各种基础需要的包

更新pip,（看自己是否需要）

python -m pip install --upgrade pip

在Python目录下在cmd 中Scrapy 如果无法安装，则先安装Twisted

pip install Twisted-17.9.0-cp35-cp35m-win_amd64.whl

（这里的whl需要下载文件，无法直接安装）

安装acrapy,可以直接安装，用豆瓣源加速下载

a:pip install -i https://pypi.douban.com/simple scrapy

或者 conda install Scrapy

b:pip install -i https://pypi.douban.com/simple pypiwin32

（后续会用到）

c:pip install -i https://pypi.douban.com/simple mysqlclient

（连接数据库MySQL）

解决opentype出现的问题

pip install -i https://pypi.douban.com/simple pyOpenSSL cryptography

pip install -i https://pypi.douban.com/simple -I -U service_identity

pip install service_identity-17.0.0-py2.py3-none-any.whl （需要下载文件安装）

pip install -i https://pypi.douban.com/simple --upgrade google-auth-oauthlib

验证码安装模块（pytesseract pillow俩者选一）

pip install -i https://pypi.douban.com/simple pytesseract

pip install -i https://pypi.douban.com/simple pillow

这些是基础的模块，很多都是基本的模块，让你直接跳过各种大坑