爬虫之scrapy框架

解析

Scrapy解释

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下

Scrapy组件

引擎(Scrapy)

调度器(Scheduler)

下载器(Downloader)

爬虫(Spiders)

项目管道(Pipeline)

下载器中间件(Downloader Middlewares)

爬虫中间件(Spider Middlewares)

调度中间件(Scheduler Middewares)

Scrapy运行流程

引擎从调度器中取出一个链接(URL)用于接下来的抓取

引擎把URL封装成一个请求(Request)传给下载器

下载器把资源下载下来，并封装成应答包(Response)

爬虫解析Response

解析出实体（Item）,则交给实体管道进行进一步的处理

解析出的是链接（URL）,则把URL交给调度器等待抓取

安装

在python3并不能完全支持Scrapy，因此为了完美运行Scrapy，我们使用python2.7来编写和运行Scrapy。

注：windows平台需要依赖pywin32，请根据自己系统32/64位选择下载安装，https://sourceforge.net/projects/pywin32/

其它可能依赖的安装包：lxml-3.6.4-cp27-cp27m-win_amd64.whl，VCForPython27.msi

依赖包下载：http://pan.baidu.com/s/1eSdVdx4

使用

创建项目

运行命令:

项目创建后会自动创建几个目录

文件说明：

scrapy.cfg 项目的配置信息，主要为Scrapy命令行工具提供一个基础的配置信息。（真正爬虫相关的配置信息在settings.py文件中）

items.py 设置数据存储模板，用于结构化数据，如：Django的Model

pipelines 数据处理行为，如：一般结构化的数据持久化

settings.py 配置文件，如：递归的层数、并发数，延迟下载等

spiders 爬虫目录，如：创建文件，编写爬虫规则

注意：一般创建爬虫文件时，以网站域名命名

编写爬虫

在spiders目录中新建一系列的定义规则的 xxx.py 文件（文件名自己写）；

示例代码：

注意：

1.爬虫文件需要定义一个类，并继承scrapy.spiders.Spider

2.必须定义name，即爬虫名，如果没有name，会报错。

3.编写函数parse，这里需要注意的是，该函数名不能改变，因为Scrapy源码中默认callback函数的函数名就是parse；

4.定义需要爬取的url，放在列表中，因为可以爬取多个url，Scrapy源码是一个For循环，从上到下爬取这些url，使用生成器迭代将url发送给下载器下载url的html

运行

在PyCharm中有相当方便的地方，很好的解决了我们多余的操作。

运行命令：

格式：scrapy crawl 项目名 --nolog nolog意思是不显示日志

Scrapy查询

Scrapy内部支持更简单的查询语法，帮助我们在html中查询我们需要的标签和标签内容以及标签属性。

下面以div标签为例：

示例：

递归访问

以上的爬虫仅仅是爬去初始页，而我们爬虫是需要源源不断的执行下去，直到所有的网页被执行完毕

+ View Code

以上代码将符合规则的页面中的图片保存在指定目录，并且在HTML源码中找到所有的其他 a 标签的href属性，从而“递归”的执行下去，直到所有的页面都被访问过为止。

以上代码之所以可以进行“递归”的访问相关URL，关键在于parse方法使用了 yield Request对象。

即通过yield生成器向每一个url发送request请求，并执行返回函数parse，从而递归获取校花图片和校花姓名学校等信息。

注：可以修改settings.py 中的配置文件，以此来指定“递归”的层数，如： DEPTH_LIMIT = 1

正则选择

语法规则：Selector(response=response查询对象).xpath('//li[re:test(@class, "item-\d*")]//@href').extract()，

即根据re正则匹配，test即匹配，属性名是class，匹配的正则表达式是"item-\d*"，然后获取该标签的href属性。

1fromscrapy.selectorimportSelector

2fromscrapy.httpimportHtmlResponse

3html ="""

4

5

6

7

8

9

10

first item

11

first item

12

second item

13

14

15"""

16response = HtmlResponse(url='http://example.com', body=html,encoding='utf-8')

17ret = Selector(response=response).xpath('//li[re:test(@class, "item-\d*")]//@href').extract()

18print(ret)

1#!/usr/bin/env python

2#-*- coding:utf-8 -*-

3

4importscrapy

5importhashlib

6fromtutorial.itemsimportJinLuoSiItem

7fromscrapy.httpimportRequest

8fromscrapy.selectorimportHtmlXPathSelector

9

10

11classJinLuoSiSpider(scrapy.spiders.Spider):

12count =

13url_set =set()

14

15name ="jluosi"

16domain ='http://www.jluosi.com'

17allowed_domains = ["jluosi.com"]

18

19start_urls =[

20"http://www.jluosi.com:80/ec/goodsDetail.action?jls=QjRDNEIzMzAzOEZFNEE3NQ==",

21]

22

23defparse(self, response):

24md5_obj =hashlib.md5()

25md5_obj.update(response.url)

26md5_url =md5_obj.hexdigest()

27ifmd5_urlinJinLuoSiSpider.url_set:

28pass

29else:

30JinLuoSiSpider.url_set.add(md5_url)

31hxs =HtmlXPathSelector(response)

32ifresponse.url.startswith('http://www.jluosi.com:80/ec/goodsDetail.action'):

33item =JinLuoSiItem()

34item['company'] = hxs.select('//div[@class="ShopAddress"]/ul/li[1]/text()').extract()

35item['link'] = hxs.select('//div[@class="ShopAddress"]/ul/li[2]/text()').extract()

36item['qq'] = hxs.select('//div[@class="ShopAddress"]//a/@href').re('.*uin=(?P\d*)&')

37item['address'] = hxs.select('//div[@class="ShopAddress"]/ul/li[4]/text()').extract()

38

39item['title'] = hxs.select('//h1[@class="goodsDetail_goodsName"]/text()').extract()

40

41item['unit'] = hxs.select('//table[@class="R_WebDetail_content_tab"]//tr[1]//td[3]/text()').extract()

42product_list =[]

43product_tr = hxs.select('//table[@class="R_WebDetail_content_tab"]//tr')

44foriinrange(2,len(product_tr)):

45temp ={

46'standard':hxs.select('//table[@class="R_WebDetail_content_tab"]//tr[%d]//td[2]/text()'%i).extract()[0].strip(),

47'price':hxs.select('//table[@class="R_WebDetail_content_tab"]//tr[%d]//td[3]/text()'%i).extract()[0].strip(),

48}

49product_list.append(temp)

50

51item['product_list'] =product_list

52yielditem

53

54current_page_urls = hxs.select('//a/@href').extract()

55foriinrange(len(current_page_urls)):

56url =current_page_urls[i]

57ifurl.startswith('http://www.jluosi.com'):

58url_ab =url

59yieldRequest(url_ab, callback=self.parse)

更多选择器规则：http://scrapy-chs.readthedocs.io/zh_CN/latest/topics/selectors.html

格式化处理

上述实例只是简单的图片处理，所以在parse方法中直接处理。如果对于想要获取更多的数据（获取页面的价格、商品名称、QQ等），则可以利用Scrapy的items将数据格式化，然后统一交由pipelines来处理。

在items.py中创建类：

上述定义模板，以后对于从请求的源码中获取的数据同意按照此结构来获取，所以在spider中需要有一下操作：

1#!/usr/bin/env python

2#-*- coding:utf-8 -*-

3

4importscrapy

5importhashlib

6frombeauty.itemsimportJieYiCaiItem

7fromscrapy.httpimportRequest

8fromscrapy.selectorimportHtmlXPathSelector

9fromscrapy.spidersimportCrawlSpider, Rule

10fromscrapy.linkextractorsimportLinkExtractor

11

12

13classJieYiCaiSpider(scrapy.spiders.Spider):

14count =

15url_set =set()

16

17name ="jieyicai"

18domain ='http://www.jieyicai.com'

19allowed_domains = ["jieyicai.com"]

20

21start_urls =[

22"http://www.jieyicai.com",

23]

24

25rules =[

26#下面是符合规则的网址,但是不抓取内容,只是提取该页的链接(这里网址是虚构的,实际使用时请替换)

27#Rule(SgmlLinkExtractor(allow=(r'http://test_url/test?page_index=\d+'))),

28#下面是符合规则的网址,提取内容,(这里网址是虚构的,实际使用时请替换)

29#Rule(LinkExtractor(allow=(r'http://www.jieyicai.com/Product/Detail.aspx?pid=\d+')), callback="parse"),

30]

31

32defparse(self, response):

33md5_obj =hashlib.md5()

34md5_obj.update(response.url)

35md5_url =md5_obj.hexdigest()

36ifmd5_urlinJieYiCaiSpider.url_set:

37pass

38else:

39JieYiCaiSpider.url_set.add(md5_url)

40

41hxs =HtmlXPathSelector(response)

42ifresponse.url.startswith('http://www.jieyicai.com/Product/Detail.aspx'):

43item =JieYiCaiItem()

44item['company'] = hxs.select('//span[@class="username g-fs-14"]/text()').extract()

45item['qq'] = hxs.select('//span[@class="g-left bor1qq"]/a/@href').re('.*uin=(?P\d*)&')

46item['info'] = hxs.select('//div[@class="padd20 bor1 comard"]/text()').extract()

47item['more'] = hxs.select('//li[@class="style4"]/a/@href').extract()

48item['title'] = hxs.select('//div[@class="g-left prodetail-text"]/h2/text()').extract()

49yielditem

50

51current_page_urls = hxs.select('//a/@href').extract()

52foriinrange(len(current_page_urls)):

53url =current_page_urls[i]

54ifurl.startswith('/'):

55url_ab = JieYiCaiSpider.domain +url

56yieldRequest(url_ab, callback=self.parse)

此处代码的关键在于：

将获取的数据封装在了Item对象中

yield Item对象 （一旦parse中执行yield Item对象，则自动将该对象交个pipelines的类来处理）

1#-*- coding: utf-8 -*-

2

3#Define your item pipelines here

4#

5#Don't forget to add your pipeline to the ITEM_PIPELINES setting

6#See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html

7

8importjson

9fromtwisted.enterpriseimportadbapi

10importMySQLdb.cursors

11importre

12

13mobile_re = re.compile(r'(13[0-9]|15[012356789]|17[678]|18[0-9]|14[57])[0-9]')

14phone_re = re.compile(r'(\d+-\d+|\d+)')

15

16classJsonPipeline(object):

17

18def__init__(self):

19self.file = open('/Users/wupeiqi/PycharmProjects/beauty/beauty/jieyicai.json','wb')

20

21

22defprocess_item(self, item, spider):

23line ="%s %s\n"% (item['company'][0].encode('utf-8'), item['title'][0].encode('utf-8'))

24self.file.write(line)

25returnitem

26

27classDBPipeline(object):

28

29def__init__(self):

30self.db_pool = adbapi.ConnectionPool('MySQLdb',

31db='DbCenter',

32user='root',

33passwd='123',

34cursorclass=MySQLdb.cursors.DictCursor,

35use_unicode=True)

36

37defprocess_item(self, item, spider):

38query =self.db_pool.runInteraction(self._conditional_insert, item)

39query.addErrback(self.handle_error)

40returnitem

41

42def_conditional_insert(self, tx, item):

43tx.execute("select nid from company where company = %s", (item['company'][0], ))

44result =tx.fetchone()

45ifresult:

46pass

47else:

48phone_obj = phone_re.search(item['info'][0].strip())

49phone = phone_obj.group()ifphone_objelse''

50

51mobile_obj = mobile_re.search(item['info'][1].strip())

52mobile = mobile_obj.group()ifmobile_objelse''

53

54values =(

55item['company'][0],

56item['qq'][0],

57phone,

58mobile,

59item['info'][2].strip(),

60item['more'][0])

61tx.execute("insert into company(company,qq,phone,mobile,address,more) values(%s,%s,%s,%s,%s,%s)", values)

62

63defhandle_error(self, e):

64print'error',e

65

66pipelines

上述代码中多个类的目的是，可以同时保存在文件和数据库中，保存的优先级可以在配置文件settings中定义。