爬虫框架Scrapy（例子）前言安装实战

前言

最近看到一篇非常不错的关于新词发现的论文--互联网时代的社会语言学：基于SNS的文本数据挖掘，迫不及待的想小试牛刀。得先有语料啊……

本文将爬取爱思助手官网的苹果咨询专栏。通过这里现学了点Scrapy。

安装

具体安装细节就不说了，度娘和Google都知道。

1、Python2.7

      Scrapy需要用python编程。

2、anaconda

anaconda里面集成了很多关于python科学计算的第三方库，主要是安装方便，而python是一个编译器，如果不使用anaconda，那么安装起来会比较痛苦，各个库之间的依赖性就很难连接的很好。

3、MySQL

      将爬取到的数据直接落地MySQL。需要新建一个表为后面存数据做准备。

CREATE TABLE `i4` (           `id` INT(11) NOT NULL AUTO_INCREMENT,          `title` VARCHAR(150) NOT NULL,          `time` VARCHAR(15) NOT NULL,          `content` LONGTEXT NOT NULL,          PRIMARY KEY (`id`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

4、Scrapy

      pip install scrapy

实战

通过观察该页面发现图二才是我们真正需要爬取的网页，但是该网页没有需要跟进的链接，所有链接都在图一的网页里，所以我们需要做两件事，第一，在图一里拿URL，再通过URL到图二的网页里面爬取所需的内容（标题、发表时间、正文）。

图一

图二

通过scrapy命令创建了一个名为i4的Scrapy项目。

scrapy startproject i4

该命令将会创建包含下列内容的i4目录:

这些文件分别是:

           scrapy.cfg: 项目的配置文件

           i4/: 该项目的python模块。之后您将在此加入代码。

           i4/items.py: 项目中的item文件.

           i4/pipelines.py: 项目中的pipelines文件.

           i4/settings.py: 项目的设置文件.

          i4/spiders/: 放置spider代码的目录.

定义提取的Item，Item是保存爬取到的数据的容器；

class I4Item(scrapy.Item):         title = scrapy.Field()    #标题         time  = scrapy.Field()    #发布时间         content=scrapy.Field()    #内容         pass

编写爬取网站的spider并提取Item，Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。

class MySpider(scrapy.Spider):          name = "i4"  #设置name          allowed_domains = ["www.i4.cn"]    #设定域名          start_urls = ["http://www.i4.cn/news_1_0_0_2.html"]  #填写爬取地址           #编写爬取方法          def parse(self, response):                     for box in response.xpath('//div[@class="kbox"]//div[@class="news_list"]'):   #爬取图二的网页内容                              link=box.xpath('./a[@class="img"]/@href').extract()[0]                              prefix='http://www.i4.cn/'                              link = prefix+link                              print(link)                              yield scrapy.Request(url = link, callback=self.parse_item)                 for box in response.xpath('//div[@class="paging"]'):   #爬取图一的URL                             link=box.xpath('./a[last()-1]/@href').extract()[0]                             prefix='http://www.i4.cn/'                             link = prefix+link                             print(link)                             yield scrapy.Request(url = link, callback=self.parse)          def parse_item(self, response):                 item = I4Item()  #实例一个容器保存爬取的信息                 #这部分是爬取部分，使用xpath的方式选择信息，具体方法根据网页结构而定                for box in response.xpath('//div[@class="block_l"]'):                          item['title'] = box.xpath('.//h1[@class="title"]/text()').extract()    #获取title                         item['time'] = box.xpath('.//div[@class="info"]/div[@class="time "]').xpath('string(.)').extract()  #获取time                         item['content'] = box.xpath('./div[@class="content"]').xpath('string(.)').extract()  #获取content                         yield item  #返回信息

编写Item Pipeline来存储提取到的Item(即数据)

class MySQLPipeline(object):           def __init__(self):           self.conn = MySQLdb.connect(host="192.168.0.103",user="root",passwd="123456",db="ufo",charset="utf8")           self.cursor = self.conn.cursor()          def process_item(self, item, spider):                  sql = "insert ignore into i4(title, time, content) values(%s, %s, %s)"                  param = (item['title'], item['time'], item['content'])                  self.cursor.execute(sql,param)                   self.conn.commit()

可以设置多个Pipeline，需要在settings.py里设置，数字大小意为先后顺序。

ITEM_PIPELINES = {            'i4.MyPipelines.MyPipeline': 1,            'i4.MySQLPipelines.MySQLPipeline': 2, }

运行爬虫

scrapy crawl  i4

结果会保存到MySQL数据库