首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >毕业设计(二):创建第一个爬虫

毕业设计(二):创建第一个爬虫

作者头像
Cloud-Cloudys
发布2020-07-06 11:39:52
4600
发布2020-07-06 11:39:52
举报

创建项目

使用scrapy startproject Spider创建一个名为Spider的项目。

使用vscode打开项目,可以看见该项目的文件结构:

文件结构
文件结构

再一次介绍各文件的作用:

  • scrapy.cfg:项目部署文件
  • spiders:存放爬虫文件的文件夹
  • items.py:保存爬取到的数据的容器
  • middlewares.py:中间件
  • pipelines.py:将爬取的数据进行持久化存储
  • setting.py:配置文件

爬虫文件

在spiders目录下创建一个新的py文件,文件名为爬虫名,爬虫名必须是唯一的。

首先写一个爬取静态网页的爬虫。那么什么是静态网页,什么又是动态网页的?

  • 静态网页,随着HTML代码的生成,页面的内容和显示效果就基本不会发生变化的网页,除非修改网页代码。
  • 动态网页,虽然网页代码没有变,但是显示内容是随着时间、环境或者数据库操作的结果而发生改变的网页。

豆瓣的新书速递(url = 'https://book.douban.com/latest?icn=index-latestbook-all')就是一个静态网页。

在浏览器中打开开发者调试工具,进入NetWork,刷新网页,找到第一个也就是与目标url相同的请求。

查看网页请求
查看网页请求

可以看到打开该网页时发生的网络请求与响应。选择预览,可以看到网页的预渲染。

在这里插入图片描述
在这里插入图片描述

可以看到我们需要的数据已经在网页上了,这就说明是静态网页。

创建一个名为douban_book的py文件。

import scrapy

class tvSpider(scrapy.Spider):
    # name是爬虫名称,它必须是唯一的
    name = "douban_book"
    allowed_domain = ["book.douban.com"]
    
    # 初始化url
    def __init__(self, *args, **kwargs):
        super(DoubanBookSpider, self).__init__(*args, **kwargs)
        self.start_urls = ["https://book.douban.com/latest?icn=index-latsetbook-all"]

    # 解析函数
    def parse(self, response):
        pass

确定了要爬取的目标网页,接下来就是要获取的自己想要的数据,这就要写解析函数parse

parse负责处理响应并必须返回一个可迭代的Request和dists或Item对象

选择器

Scrapy自己内置一套数据提取机制,成为选择器。它们通过特定的XPath或者CSS表达式来选择HTML文件中的某个部分,Scrapy选择器构建于lxml库上。

Selector对象有四个基本方法:

  • xpath(query):传入XPath表达式query,返回该表达式所对应的所有节点的selector list列表。
  • css(query):传入CSS表达式query,返回该表达式所对应的所有节点的selector list列表。
  • extract():序列化该节点为Unicode字符串并返回list列表。
  • re(regex):根据传入的正则表达式对数据进行提取,返回Unicode字符串列表。

这里使用XPath来提取数据。

快速定位
快速定位

我们发现数据存储在li标签中。所以我们的思路就是先使用XPath表达式获取到所有的li标签,生成一个list,然后遍历这个list获取到每一项数据。

我们可以直接右键li标签copy到XPath表达式,但偶尔会出问题,所以我们自己写。

我们可以在代码区域按ctrl + f,然后输入自己XPath表达式验证是否正确。

获取XPath
获取XPath

可以看到我们写的//ul[@class="cover-col-4 clearfix"]表达式,一共获取到了20条li标签,然后我们就要通过迭代的方式来提取出每一条li标签里的数据。

Parse

我们要获取的数据有:图片、链接、书名、作者、发布时间、书籍介绍、页数、价格。

其中页数和价格需要进入详情网页进行二次解析,其他数据则可以在该页直接获取到。

我们将整个逻辑写入到parse函数中:

def parse(self, response):
    result = Selector(response)
       book_list = result.xpath('//*[@class="cover-col-4 clearfix"]/li')
       for book_ele in book_list:

           # 图片
           cover_url = book_ele.xpath('./a[@class="cover"]/img/@src').extract()[0]
           # 链接
           url = book_ele.xpath('./a[@class="cover"]/@href').extract()[0]
           # 书名
           book_name = book_ele.xpath('./div[@class="detail-frame"]/h2/a/text()').extract()[0]
           # 作者
           book_author_str = book_ele.xpath('./div[@class="detail-frame"]//p[@class="color-gray"]/text()').extract()[0]
           book_author_array = book_author_str.split("/")
           book_author = book_author_array[0].strip()
           # 发布时间
           publish_time = book_author_array[2].strip()
           # 书籍介绍
           book_detail = book_ele.xpath('./div[@class="detail-frame"]//p[@class="detail"]/text()').extract()[0]

这就获取到了除了页数和价格的其他数据,而想要获取到这两条数据,我们只需要在写一个parse_detail函数,然后在前边的迭代中调用就可以了。

但是这里获取页数和价格有一个问题:并不是所有的书都有价格和页数。

在这里插入图片描述
在这里插入图片描述

所以我们在查看数据的时候就需要多看几条数据,否则很可能会导致爬取失败,在这里为了解决这个问题,我们加入一个小小的验证。

def parse_detail(self, response):
    sel = Selector(response)

    # 页数
    book_page_num_str = result.xpath(u'//div[@id="info"]//span[text()="页数:"]').extract()
    if book_page_num_str:
        book_page_num = result.xpath(u'//div[@id="info"]//span[text()="页数:"]/following::text()[1]').extract()[0]
    else:
        book_page_num = ''

    # 价格
    book_price_str = result.xpath(u'//div[@id="info"]//span[text()="定价:"]').extract()
    if book_price_str:
        book_price = result.xpath(u'//div[@id="info"]//span[text()="定价:"]/following::text()[1]').extract()[0]
    else:
        book_price = ''

然后只需要在parse函数的末尾加上调用即可:

yield scrapy.Request(url=url, callback=self.parse_detail)

Item

Item是保存爬取到的数据的容器。所以我们定义一个Item类,将爬取到的数据写入到Item,也方便后边存入数据库。

# spiders/items.py
from scrapy.item import Item, Field

class BookListItem(Item):
    # 封面图片
    cover_url = Field()

    # 地址
    url = Field()

    # 书名
    book_name = Field()

    # 作者
    book_author = Field()

    # 书籍介绍
    book_detail = Field()

    # 书籍页数
    book_page_num = Field()

    # 价格
    book_price = Field()

    # 发布时间
    publish_time = Field()

同时在parse函数中加入相应的代码,最后完整的代码是这样的。

import scrapy 
from scrapy.selector import Selector
from Spider.items import BookListItem

class DoubanBookSpider(scrapy.Spider):
    name = "douban_book"
    allowed_domains = ["book.douban.com"]

    def __init__(self, *args, **kwargs):
        super(DoubanBookSpider, self).__init__(*args, **kwargs)
        self.start_urls = ["https://book.douban.com/latest?icn=index-latsetbook-all"]

    def parse(self, response):
        sel = Selector(response)
        book_list = sel.xpath('//*[@class="cover-col-4 clearfix"]/li')
        for book_ele in book_list:
            book_item = BookListItem()

            # 图片
            cover_url = book_ele.xpath('./a[@class="cover"]/img/@src').extract()[0]
            # 链接
            url = book_ele.xpath('./a[@class="cover"]/@href').extract()[0]
            # 书名
            book_name = book_ele.xpath('./div[@class="detail-frame"]/h2/a/text()').extract()[0]
            # 作者
            book_author_str = book_ele.xpath('./div[@class="detail-frame"]//p[@class="color-gray"]/text()').extract()[0]
            book_author_array = book_author_str.split("/")
            book_author = book_author_array[0].strip()
            # 发布时间
            publish_time = book_author_array[2].strip()
            # 书籍介绍
            book_detail = book_ele.xpath('./div[@class="detail-frame"]//p[@class="detail"]/text()').extract()[0]

            book_item["cover_url"] = cover_url.strip()
            book_item["url"] = url.strip()
            book_item["book_name"] = book_name.strip()
            book_item["book_author"] = book_author.strip()
            book_item["publish_time"] = publish_time.strip()
            book_item["book_detail"] = book_detail.strip()

            # 进入书籍详情页获取书籍页数和价格
            yield scrapy.Request(url=url, meta={'book_item': book_item}, callback=self.parse_detail)

    def parse_detail(self, response):
        book_item = response.meta['book_item']
        sel = Selector(response)

        # 页数
        book_page_num_str = sel.xpath(u'//div[@id="info"]//span[text()="页数:"]').extract()
        if book_page_num_str:
            book_page_num = sel.xpath(u'//div[@id="info"]//span[text()="页数:"]/following::text()[1]').extract()[0]
        else:
            book_page_num = ''

        # 价格
        book_price_str = sel.xpath(u'//div[@id="info"]//span[text()="定价:"]').extract()
        if book_price_str:
            book_price = sel.xpath(u'//div[@id="info"]//span[text()="定价:"]/following::text()[1]').extract()[0]
        else:
            book_price = ''

        book_item["book_page_num"] = book_page_num.strip()
        book_item["book_price"] = book_price.strip()

        print('书籍信息>>>>>>>>>>')
        print(book_item["cover_url"])
        print(book_item["url"])
        print(book_item["book_name"])
        print(book_item["book_author"])
        print(book_item["publish_time"])
        print(book_item["book_detail"])
        print(book_item["book_page_num"])
        print(book_item["book_price"])

        yield book_item

然后再命令行中运行scrapy crawl douban_book,然后就可以看到结果打印出来。

爬取结果
爬取结果
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2020.03.30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 创建项目
  • 爬虫文件
  • 选择器
  • Parse
  • Item
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档