分布式爬虫scrapy+redis入门
利用分布式爬虫scrapy+redis爬取伯乐在线网站，网站网址：http://blog.jobbole.com/all-posts/ 后文中详情写了整个工程的流程，即时是新手按照指导走也能使程序成功运行。
1.下载64位redis软件
软件很小，4M，下载链接: https://pan.baidu.com/s/14mjeLoYJ_aFA91jq2oe2-g 密码: 4nex 下载后解压，文件夹内下图所示：
redis文件夹.png
2.开启redis服务
在资源管理器的路径中输入cmd，并按Enter进入命令行。 这一步的作用是cmd打开时就在此目录下。
image.png
进入命令行后，输入命令：redis-server redis.windows.conf
输入命令.png
命令运行结果如下图所示：
命令运行结果.png
在之后的操作步骤中，都需要保持此cmd不被关闭。 只有开启数据库服务，才能访问数据库，这是软件行业人员的常识。
3.安装scrapy-redis库
安装scrapy、lxml等库的时候容易出现没法从网上安装twisted库的错误，解决方案是从将twisted库下载到本地后，用命令进行安装。 twisted库下载链接: https://pan.baidu.com/s/1BiCc0HRpGnh-O2wk0ySKtw 密码: y9gq 注意：此链接下载的版本适用于win64系统下的Python3.6版本！！如果你的Python版本不同，请在浏览器中访问此网站：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，网站如下图所示：
twisted下载网址.png
你可以根据自己的操作系统和python版本来下载需要的版本。 在桌面新建一个Scrapy-redis文件，并放入下载好的后缀名为whl的文件。
新建文件夹.png
在资源管理器的路径中输入cmd，并按Enter进入命令行。 这一步的作用是cmd打开时就在此目录下。
进入cmd.png
进入命令行后，输入命令：pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl
命令行安装twisted库.png
安装成功则继续输入命令：pip install scrapy-redis 按照经验来说，应该不会再出现错误。能够安装成功才继续往下进行，否则自行在网上查找解决方案。
4.创建scrapy-redis工程
还是在桌面的Scrapy-redis文件夹中打开cmd 在cmd中输入命令并运行：scrapy startproject RedisTest
新建工程命令.png
进入爬虫工程目录命令：cd RedisTest，运行结果如下图所示： 从图中可以看出cmd所在的目录不同
进入爬虫工程目录命令.png
新建爬虫文件命令： scrapy genspider article blog.jobbole.com，运行结果如下图所示：
新建爬虫文件命令.png
5.在Pycharm中导入工程
Pycharm安装包下载链接: https://pan.baidu.com/s/1RyxEri8pZSd-osrwl5DJ7Q 密码: 3hm8 导入工程的按钮位置如下图所示：
image.png
选中工程文件夹，然后点击OK,如下图所示：
image.png
工程文件夹的结构如下图所示：
image.png
6.编辑items.py文件
爬取1个字段 ：title，数据类型为scrapy.Field对象
import scrapy
from scrapy import Field
class RedistestItem(scrapy.Item):
title = Field()7.编辑article.py文件
作为入门的教程，代码示例应该去繁就简，下面一段代码仅仅只有13行。 两种框架的区别: 1.在scrapy框架中，爬虫类继承scrapy.Spider；而在scrapy-redis框架中，爬虫类继承scrapy_redis.spiders.RedisSpider。 2.scrapy-redis框架的爬虫类中没有start_urls属性，取而代之的是redis_key属性。
from scrapy_redis.spiders import RedisSpider
from ..items import RedistestItem
class ArticleSpider(RedisSpider):
name = 'article'
redis_key = "bole_urls"
def parse(self, response):
article_list = response.xpath("//div[@class='post floated-thumb']")
for article in article_list:
item = RedistestItem()
item['title'] = article.xpath("div[@class='post-meta']/p[1]/a/@title").extract_first()
yield item8.编辑pipelines.py文件
getConn函数用来连接数据库
代码中16-22行是Pipeline类的初始化，可以不写在___init___中，本文作者习惯这么写，主要作用是删除之前存在的article表和创建新表。
class RedistestPipeline(object):
def process_item(self, item, spider):
with open("article.txt",'a') as file:
file.write("title%s\n"%item['title'])
return item9.编辑settings.py文件
下面代码的第5-9行是redis的相关设置，因为是从本地的redis上提取键值对，所以REDIS_HOST为127.0.0.1， 如果是从公网上的redis服务器中提取键值对，则换成服务器的ip就可以。
BOT_NAME = 'RedisTest'
SPIDER_MODULES = ['RedisTest.spiders']
NEWSPIDER_MODULE = 'RedisTest.spiders'
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
REDIS_HOST = "127.0.0.1"
REDIS_PORT = 6379
ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
'RedisTest.pipelines.RedistestPipeline': 300,
}10.运行爬虫
在爬虫工程文件夹中打开cmd，输入命令：scrapy crawl article 下图中划红线的部分是要求读者检查是否处于爬虫工程文件夹中。
运行爬虫.png
运行上图所示命令后，爬虫会等待redis服务器中的队列，如果队列中有新的值入队，爬虫会把该值取出，作为爬取网页的url链接。
让新值进入队列的命令：lpush {} {}
第一个大括号替换为第7步article.py文件中第6行redis_key变量的值，第二个大括号替换为需要爬取网页的url链接。
命令示例：lpush bole_urls http://blog.jobbole.com/all-posts/
如下图所示：
lpush命令.png
读者运行时可以从爬虫运行的cmd中看到动态的效果，产生的txt文件如下图所示：
txt文件结果.png
提示
因为只是入门教程，主要作用是帮助新手理清思路，如果要爬取更多字段可以自行修改。 按照教程的顺序认真完成每一步，可以避免踩坑。