Scrapy 爬虫实例（一）

scrapy startproject douban


scrapy.cfg: 项目的配置文件；（用于发布到服务器）
tutorial/: 该项目文件夹。之后将在此编写Python代码。
tutorial/items.py: 项目中的item文件;（定义结构化数据字段field）.
tutorial/pipelines.py: 项目中的pipelines文件;（用于存放执行后期数据处理的功能，定义如何存储结构化数据)
tutorial/settings.py: 项目的设置文件；(如何修改User-Agent，设置爬取时间间隔，设置代理，配置中间件等等)
tutorial/spiders/: 放置spider代码的目录;（编写爬取网站规则）

import scrapy

class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 序列号
    number = scrapy.Field()
    # 电影名
    movie_name = scrapy.Field()
    # 介绍
    introduce = scrapy.Field()
    # 星级
    star = scrapy.Field()
    # 评价数
    evaluate = scrapy.Field()
    # 描述
    describe = scrapy.Field()
    pass

这个函数要完成的功能：
1.负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
2.生成需要下一页的请求URL。

from douban.items import DoubanItem
import scrapy


class DoubanSpider(scrapy.Spider):
    name = 'douban'  # spider名字,必须是唯一的
    # 允许的域名
    allowed_domains = ['movie.douban.com']
    # 入口URL
    start_urls = ['https://movie.douban.com/top250']  # 初始的URL列表

    # 这个函数要完成的功能：
    # 1.负责解析返回的网页数据(response.body)，提取结构化数据(生成item)
    # 2.生成需要下一页的请求URL。
    def parse(self, response):  # 每个初始URL完成下载后被调用
        movie_list = response.xpath("//div[@class='article']//ol[@class='grid_view']/li")
        # 循环电影的条目
        for i_item in movie_list:
            # 导入item，进行数据解析
            douban_item = DoubanItem()

            douban_item['number'] = i_item.xpath(".//div[@class='item']//div[@class='pic']//em/text()").extract_first()

            douban_item['movie_name'] = i_item.xpath(".//div[@class='item']//div[@class='info']//div[@class='hd']/a/span[1]/text()").extract_first()

            # 如果文件有多行进行解析
            content = i_item.xpath(".//div[@class='item']//div[@class='info']//div[@class='bd']/p[1]/text()").extract()
            for i_content in content:
                content_s = "".join(i_content.split())
                douban_item['introduce'] = content_s

            douban_item['star'] = i_item.xpath(".//span[@class='rating_num']/text()").extract_first()

            douban_item['evaluate'] = i_item.xpath(".//div[@class='star']//span[4]/text()").extract_first()

            douban_item['describe'] = i_item.xpath(".//p[@class='quote']/span/text()").extract_first()

            print(douban_item)

            yield douban_item

        # 解析下一页，取后一页的XPATH
        next_link = response.xpath("//span[@class='next']/link/@href").extract()
        if next_link:
            next_link = next_link[0]
            yield scrapy.Request("https://movie.douban.com/top250" + next_link, callback=self.parse)

在命令行输入：
scrapy crawl douban -o 豆瓣电影Top250.json 
或者 
scrapy crawl douban -o 豆瓣电影Top250.csv