1. CrawlSpiders
1.1原理图
sequenceDiagram
start_urls ->>调度器: 初始化url
调度器->>下载器: request
下载器->>rules: response
rules->>数据提取: response
rules->>调度器: 新的url
通过下面的命令可以快速创建 CrawlSpider模板 的代码
scrapy genspider -t crawl 文件名 (allowed_url)
首先在说下Spider,它是所有爬虫的基类,而CrawSpiders就是Spider的派生类。对于设计原则是只爬取start_url列表中的网页,而从爬取的网页中获取link并继续爬取的工作CrawlSpider类更适合。
2. Rule对象
Rule类与CrawlSpider类都位于scrapy.contrib.spiders模块中
class scrapy.contrib.spiders.Rule (
link_extractor, callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None )
参数含义:
3.LinkExtractors
3.1 概念
> 顾名思义,链接提取器
3.2 作用
response对象中获取链接,并且该链接会被接下来爬取
每个LinkExtractor有唯一的公共方法是 extract_links(),它接收一个 Response 对象,并返回一个 scrapy.link.Link 对象
3.3 使用
class scrapy.linkextractors.LinkExtractor(
allow = (),
deny = (),
allow_domains = (),
deny_domains = (),
deny_extensions = None,
restrict_xpaths = (),
tags = ('a','area'),
attrs = ('href'),
canonicalize = True,
unique = True,
process_value = None
)
主要参数:
3.3.1 查看效果(shell中验证)
首先运行
scrapy shell http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml
继续import相关模块:
from scrapy.linkextractors import LinkExtractor
提取当前网页中获得的链接
link = LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')
调用LinkExtractor实例的extract_links()方法查询匹配结果
link.extract_links(response)
3.3.2 查看效果 CrawlSpider版本
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from xiaoshuo.items import XiaoshuoItem
class XiaoshuoSpiderSpider(CrawlSpider):
name = 'xiaoshuo_spider'
allowed_domains = ['fhxiaoshuo.com']
start_urls = ['http://www.fhxiaoshuo.com/read/33/33539/17829387.shtml']
rules = [
Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),]
def parse_item(self, response):
info = response.xpath("//div[@id='TXT']/text()").extract()
it = XiaoshuoItem()
it['info'] = info
yield it
**注意:**
rules = [
Rule(LinkExtractor(restrict_xpaths=(r'//div[@class="bottem"]/a[4]')), callback='parse_item'),]
4. 介绍
Scrapy提供了一个 item pipeline ,来下载属于某个特定项目的图片,比如,当你抓取产品时,也想把它们的图片下载到本地。
这条管道,被称作图片管道,在 `ImagesPipeline` 类中实现,提供了一个方便并具有额外特性的方法,来下载并本地存储图片:
这个管道也会为那些当前安排好要下载的图片保留一个内部队列,并将那些到达的包含相同图片的项目连接到那个队列中。 这可以避免多次下载几个项目共享的同一个图片
5. 使用图片管道
当使用 ImagesPipeline ,典型的工作流程如下所示:
6. 具体流程(此处以zol网站为例)
6.1 定义item
import scrapy
class ImagedownloadItem(scrapy.Item):
# define the fields for your item here like:
img_name = scrapy.Field()
img_urls =scrapy.Field()
6.2 编写spider
> 思路:获取文件地址-->获取图片名称-->推送地址
此处是一张一张的推送
class ZolSpiderSpider(scrapy.Spider):
name = 'zol'
allowed_domains = ['zol.com.cn']
url ='http://desk.zol.com.cn'
start_urls = [url+'/bizhi/7106_88025_2.html']
def parse(self, response):
image_url = response.xpath('//img[@id="bigImg"]/@src').extract_first()
image_name = response.xpath('//h3')[0].xpath('string(.)').extract_first().strip().replace('\r\n\t\t', '')
next_image = response.xpath('//a[@id="pageNext"]/@href').extract_first()
item = ImagedownloadItem()
item["img_name"] = image_name
item["img_urls"] = image_url
yield item
yield scrapy.Request(self.url+next_image,callback=self.parse,)
6.3 编写pipline
以下如果不想改文件名,meta属性可以忽略不写
def get_media_requests(self, item, info):
'''
#如果item[urls]里里面是列表,用下面
urls= item['urls']
for url in urls:
yield scrapy.Request(url,meta={"item",item})
'''
# 如果item[urls]里里面是一个图片地址,用这下面的
yield scrapy.Request(item['img_urls'], meta={"item": item})
因为scrapy里是使用它们URL的 SHA1 hash 作为文件名,所以如果想重命名:
def file_path(self, request, response=None, info=None):
item = request.meta["item"]
#去掉文件里的/,避免创建图片文件时出错
filename = item["img_name"].replace("/","-")+".jpg"
return filename
6.4 定义图片保存在哪?
在settings中增加一句
IMAGES_STORE = "e:/pics"
7. Spider 下载中间件(Middleware)
Spider 中间件(Middleware) 下载器中间件是介入到 Scrapy 的 spider 处理机制的钩子框架,您可以添加代码来处理发送给 Spiders 的 response 及 spider 产生的 item 和 request
8. 激活一个下载DOWNLOADER_MIDDLEWARES
要激活一个下载器中间件组件,将其添加到 `DOWNLOADER_MIDDLEWARES`设置中,该设置是一个字典,其键是中间件类路径,它们的值是中间件命令
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.CustomDownloaderMiddleware' : 543 ,
}
该`DOWNLOADER_MIDDLEWARES`设置与`DOWNLOADER_MIDDLEWARES_BASEScrapy`中定义的设置(并不意味着被覆盖)合并, 然后按顺序排序,以获得最终的已启用中间件的排序列表:第一个中间件是靠近引擎的第一个中间件,最后一个是靠近引擎的中间件到下载器。换句话说,`process_request()` 每个中间件的方法将以增加中间件的顺序(100,200,300,...)`process_response()`被调用,并且每个中间件的方法将以降序调用
要决定分配给中间件的顺序,请参阅 `DOWNLOADER_MIDDLEWARES_BASE`设置并根据要插入中间件的位置选择一个值。顺序很重要,因为每个中间件都执行不同的操作,而您的中间件可能依赖于之前(或后续)正在使用的中间件
如果要禁用内置中间件(`DOWNLOADER_MIDDLEWARES_BASE`默认情况下已定义和启用的中间件 ),则必须在项目`DOWNLOADER_MIDDLEWARES`设置中定义它,并将“ 无” 作为其值。例如,如果您要禁用用户代理中间件
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.CustomDownloaderMiddleware' : 543 ,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware' : None ,
}
最后,请记住,某些中间件可能需要通过特定设置启用
9. 编写你自己的下载中间件
每个中间件组件都是一个Python类,它定义了一个或多个以下方法
class scrapy.downloadermiddlewares.DownloaderMiddleware
> 任何下载器中间件方法也可能返回一个延迟
9.1 process_request(self, request, spider)
> 当每个request通过下载中间件时,该方法被调用
process_request()必须返回其中之一
- 返回 None
- 返回一个 Response 对象
- 返回一个 Request 对象
- raise IgnoreRequest
参数:
9.2 process_response(self, request, response, spider)
> 当下载器完成http请求,传递响应给引擎的时候调用
- 参数:
10. 使用代理
settings.py
PROXIES=[
{"ip":"122.236.158.78:8118"},
{"ip":"112.245.78.90:8118"}
]
DOWNLOADER_MIDDLEWARES = {
#'xiaoshuo.middlewares.XiaoshuoDownloaderMiddleware': 543,
'xiaoshuo.proxyMidde.ProxyMidde':100
}
创建一个midderwares
from xiaoshuo.settings import PROXIES
import random
class ProxyMidde(object):
def process_request(self, request, spider):
proxy = random.choice(PROXIES)
request.meta['proxy']='http://'+proxy['ip']
写一个spider测试
from scrapy import Spider
class ProxyIp(Spider):
name = 'ip'
#http://www.882667.com/
start_urls = ['http://ip.cn']
def parse(self, response):
print(response.text)
11. 使用动态UA
# 随机的User-Agent
class RandomUserAgent(object):
def process_request(self, request, spider):
useragent = random.choice(USER_AGENTS)
request.headers.setdefault("User-Agent", useragent)