专栏首页数据结构笔记scrapy爬虫框架(四):scrapy中 yield使用详解

scrapy爬虫框架(四):scrapy中 yield使用详解

开始前的准备工作:

MySQL下载:点我 python MySQL驱动下载:pymysql(pyMySql,直接用pip方式安装)

全部安装好之后,我们来熟悉一下pymysql模块

import pymysql

#创建链接对象
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='1234', db='python')
#创建游标 游标用来进行查询,修改等操作
cursor = connection.cursor()

#定义sql语句 这里的sql语法根据使用的数据库不同会有一些小差别
sql = "SELECT * FROM python.text_info where text_title='test'"

#执行sql语句 返回受到影响的行数
cursor.execute(sql)

#获取sql语句执行后的返回数据 默认返回的数据类型为元组
#获取所有返回
r = cursor.fetchall()
#获取一个返回
r = cursor.fetchone()
#获取至多三个返回 不足三个时返回所有
r = cursor.fetchmany(3)
#其他的fetch方法可自行百度

#将返回数据类型改为字典
cursor = connection.cursor(cursor=pymysql.cursors.DictCursor)
#或者在创建连接对象时指定返回数据类型为字典 建议把返回类型修改为字典类型
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='1234', db='python', cursorclass=pymysql.cursors.DictCursor)

#保存所做的修改 在连接关闭之前,如果你没有调用下面的语句
#那么,你之前的所有修改将不会被保存
connection.commit()

#关闭游标
cursor.close()
#关闭连接
connection.close()

一、确定items

我们要爬取的网站是:http://m.50zw.la 要爬取的是小说的信息,如图:

所以items.py文件如下:

import scrapy


class TextInfoItem(scrapy.Item):
    # name = scrapy.Field()
    text_name = scrapy.Field()
    text_author = scrapy.Field()
    text_type = scrapy.Field()
    text_status = scrapy.Field()
    text_latest = scrapy.Field()
    text_intro = scrapy.Field()

最后信息是要储存到数据库里的,所以我们还得创建一个数据库表。

  • 第一步:在开始菜单里找到MySQL Workbench,双击打开。MySQL Workbench是MySQL自带的一个可视化管理工具
  • 第二步:在 MySQL Workbench里连接数据库,并创建一个数据库 python,然后再在刚刚创建的数据库里创建一个表 text_info
  • 第三步:在 text_info表里逐一添加 text_name,text_author 等属性,类型全部设置为 varchar,大小除了 text_intro是 1000外,其他的全部设置为 50

MySQL的使用就不详细讲了。如果遇到问题,欢迎评论留言。

二、爬取信息

为了简单,我们只爬取 50zw网站下的玄幻分类的小说信息。

细节前面已经讲过了,这里不再多讲,有不懂的可以去看前面的几篇文章。

废话不多说,直接上代码:

import scrapy
from text_info.items import TextInfoItem

class A50zwSpider(scrapy.Spider):
    name = '50zw'
    allowed_domains = ['m.50zw.la']
    start_urls = ['http://m.50zw.la/wapsort/1_1.html']

    #主站链接 用来拼接
    base_site = 'http://m.50zw.la'

    def parse(self, response):
        book_urls = response.xpath('//table[@class="list-item"]//a/@href').extract()

        for book_url in book_urls:
            url = self.base_site + book_url
            yield scrapy.Request(url, callback=self.getInfo)

        #获取下一页
        next_page_url = self.base_site + response.xpath('//table[@class="page-book"]//a[contains(text(),"下一页")]/@href').extract()[0]
        yield scrapy.Request(next_page_url, callback=self.parse)

    def getInfo(self, response):
        item = TextInfoItem()

        #提取信息
        item['text_id'] = response.url.split('_')[1].replace('/', '')
        item['text_name'] = response.xpath('//table[1]//p/strong/text()').extract()[0]
        item['text_author'] = response.xpath('//table[1]//p/a/text()').extract()[0]
        item['text_type'] = response.xpath('//table[1]//p/a/text()').extract()[1]
        item['text_status'] = response.xpath('//table[1]//p/text()').extract()[2][3:]
        item['text_latest'] = response.xpath('//table[1]//p[5]/text()').extract()[0][3:]
        item['text_intro'] = response.xpath('//div[@class="intro"]/text()').extract()[0]

        yield item

这里我们通过 yield 来发起一个请求,并通过 callback 参数为这个请求添加回调函数,在请求完成之后会将响应作为参数传递给回调函数。

scrapy框架会根据 yield 返回的实例类型来执行不同的操作,如果是 scrapy.Request 对象,scrapy框架会去获得该对象指向的链接并在请求完成后调用该对象的回调函数。

如果是 scrapy.Item 对象,scrapy框架会将这个对象传递给 pipelines.py做进一步处理。

这里我们有三个地方使用了 yield ,第一个地方是:

 for book_url in book_urls:
        url = self.base_site + book_url
        yield scrapy.Request(url, callback=self.getInfo)

这里我们在循环里不断提取小说详细页面的链接,并通过 yield 来发起请求,并且还将函数 getInfo 作为回调函数来从响应中提取所需的数据。

第二个地方是:

#获取下一页
next_page_url = self.base_site + response.xpath('//table[@class="page-book"]//a[contains(text(),"下一页")]/@href').extract()[0]
yield scrapy.Request(next_page_url, callback=self.parse)

这里是在爬取完一页的信息后,我们在当前页面获取到了下一页的链接,然后通过 yield 发起请求,并且将 parse 自己作为回调函数来处理下一页的响应。

这有点像递归,不过递归是函数自己调用自己,这里看起来好像是 parse 调用了自己,但实际上 parse 是由 scrapy框架在获得响应后调用的。

最后一处使用了 yield 的地方在 getInfo 函数里:

def getInfo(self, response):
        item = TextInfoItem()
        
        ... ...
        
        item['text_intro'] = response.xpath('//div[@class="intro"]/text()').extract()[0]
        yield item

这里我们通过 yield 返回的不是 Request 对象,而是一个 TextInfoItem 对象。

scrap有框架获得这个对象之后,会将这个对象传递给 pipelines.py来做进一步处理。

我们将在 pipelines.py里将传递过来的 scrapy.Item 对象保存到数据库里去。

三、将信息插入数据库

python对数据库的操作很简单,我们简单了解一下步骤:

  1. 建立数据库连接
  2. 创建操作游标
  3. 写sql语句
  4. 执行sql语句
  5. 如果执行的是查询语句,则用fetch语句获取查询结果
  6. 如果执行的是插入、删除等对数据库造成了影响的sql语句,还需要执行commit保存修改

贴上代码:

import pymysql

class TextInfoPipeline(object):
    def __init__(self):
        #建立数据库连接
        self.connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', password='1234', db='python',charset='utf8')
        #创建操作游标
        self.cursor = self.connection.cursor()

    def process_item(self, item, spider):
        #定义sql语句
        sql = "INSERT INTO `python`.`text_info` (`text_id`, `text_name`, `text_author`, `text_type`, `text_status`, `text_latest`, `text_intro`) VALUES ('"+item['text_id']+"', '"+item['text_name']+"', '"+item['text_author']+"', '"+item['text_type']+"', '"+item['text_status']+"', '"+item['text_latest']+"', '"+item['text_intro']+"');"
        
        #执行sql语句
        self.cursor.execute(sql)
        #保存修改
        self.connection.commit()

        return item

    def __del__(self):
        #关闭操作游标
        self.cursor.close()
        #关闭数据库连接
        self.connection.close()

写在最后:

  1. 代码敲好后不要忘记在settings里开启pipelines
  2. pymsql连接时默认的编码是latin-1,所以在建立数据库连接时会增加参数charset来修改编码,要修改为utf-8的话得用charset=’utf8‘,而不是charset=’utf-8‘
  3. 这个网站有些问题,会时不时报404错误,所以在爬的过程中会报list index out of range,这是因为得到了错误的网页,xpath找不到对应得路径返回了空列表。这是正常现象,并不是代码出问题了(当然,如果频繁报错最好是检查一下代码)

贴一张成功后的图片:

最后的最后,觉得我写的不错的话记得关注我哦。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微信小程序中 text组件里不能使用空格回车的解决办法

    将 text 组件的 decode 属性设置为 true 就可以在 text 组建里使用 html编码后的字符和转义字符了,如:

    渔父歌
  • Django自定义user表

    需要注意的是我们自定义的表的表名必须是 auth_user ,而且必须有属性 is_active , is_staff , has_perm 和 has_mod...

    渔父歌
  • scrapy爬虫框架(二):创建一个scrapy爬虫

    在创建新的scrapy爬虫之前,我们需要先了解一下创建一个scrapy爬虫的基本步骤

    渔父歌
  • 【自然语言处理】利用LDA对希拉里邮件进行主题分析

    然后取出ExtractedBodyText的那一列,对每一行email进行噪声过滤,并返回一个对象:

    绝命生
  • 微信小程序长按复制文本 selectable 属性

    德顺
  • Ionic3学习笔记(二)主题化

    本文包含: Ionic3 CSS实用属性、自定义颜色、平台样式、覆写Ionic Sass变量、RTL支持

    Theo Tsao
  • ubuntu下sublime中文输入问题

    #include”gtk/gtkimcontext.h” void gtk_im_context_set_client_window (GtkIMContext...

    DuncanZhou
  • Python加水印

    但是这样一来就会打乱文件顺序(因为我命名都是1 2 3 4这样),不好管理,所以就稍微修改了一下,发出来图一乐

    Elapse
  • 网络请求封装AFAppDotNetAPIClient中的代码

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010105969/article/details/...

    用户1451823
  • 阻止云计算攻击的安全指南

    随着越来越多的企业将关键业务转移到云计算应用程序,网络攻击手段不断发展,组织必须对风险进行评估,并利用当今的功能来提高对云计算环境的可见性和监视能力。

    静一

扫码关注云+社区

领取腾讯云代金券