​Python爬虫 --- 2.3 Scrapy 框架的简单使用

原文链接:https://www.fkomm.cn/article/2018/8/3/28.html

网络爬虫,是在网上进行数据抓取的程序,使用它能够抓取特定网页的HTML数据。

Scrapy框架的简单使用:

虽然我们利用一些库开发一个爬虫程序,但是使用框架可以大大提高效率,缩短开发时间。Scrapy是一个使用Python编写的,轻量级的框架,简单轻巧,并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作,它为我们完成了大量的工作,而不需要自己费大力气去开发。

下面我们来通过一个很简单的例子来介绍Scrapy框架的使用。

我们要爬的网址是:搜读网: http://www.sodu.cc

我喜欢在这个网站看小说,里面的小说内容还是比较丰富的,推荐读者喜欢看小说的可以来看看。因为只是简单介绍,所以我只准备抓取小说的标题。

好的,基本流程既然确定了,那接下来就一步一步的完成就可以了。

其实只需要四步即可!!!

步骤一: 创建一个工程和Spider模板

我们先用命令行创建一个Scrapy工程:

$ scrapy startproject soudu

接着,我们进入到工程目录:

$ cd soudu

我们来看一下目录结构:

tree
# OUT:
.
├── soudu                  #外层目录
│   ├── __init__.py         #初始化脚本    
│   ├── __pycache__         #Python缓存文件。暂时无视
│   ├── items.py            #Items代码模板,继承类自scrapy.Item
│   ├── middlewares.py      #Middlewares代码模板(继承类)
│   ├── pipelines.py        #Pipelines代码模板(继承类)
│   ├── settings.py         #Scrapy爬虫的配置文件
│   └── spiders             #Spiders代码模板目录 我们写爬虫的地方
│       ├── __init__.py
│       └── __pycache__
└── scrapy.cfg              #部署爬虫的配置文件

4 directories, 7 files

最后,我们用命令行创建第一个Spider:

$ scrapy genspider title www.sodu.cc

这样我们就创建了一个名为title的爬虫了。

我们来看看他长什么样,打开/spiders/title.py:

# -*- coding: utf-8 -*-
import scrapy

class NewsSpider(scrapy.Spider):
    name = 'title'
    allowed_domains = ['www.sodu.cc']
    start_urls = ['http://www.sodu.cc/']

    def parse(self, response):
        pass

可以看到,Scrapy已经帮我们把爬虫的框架写好了,我们只要在这个框架的基础上进行进一步的定制就可以了。

步骤二:编写Spider

我们来着手定制我们的爬虫吧:

看一下详细的注释

# -*- coding: utf-8 -*-
import scrapy

# 将我们需要爬的项目引入进来
from soudu.items import SouduItem

class DemoSpider(scrapy.Spider):

    #该爬虫的名字
    name = "title"

    #规定爬虫爬取网页的域名   
    allowed_domains = ['www.sodu.cc']

    #开始爬取的url链接
    start_urls = ['http://www.sodu.cc/']

    def parse(self, response):
        '''
        parse()函数接收Response参数,就是网页爬取后返回的数据
        用于处理响应,他负责解析爬取的内容
        生成解析结果的字典,并返回新的需要爬取的请求
        '''

        #由于是demo 我们不做完全的功能,
        #只要求爬取出第一部小说的名字
        #xpath规则可以通过查看网页源文件得出,chrome右键检查定位到所要爬取的内容
        name = response.xpath('//a[@onclick="getpage(this)"]/text()').extract()[0]

        #建立一个items字典,用于保存我们爬到的结果,并返回给pipline处理
        items = {}
        items['第一部小说名']= name

        return items

步骤三:编写Item Pipeline

首先我们编写itmes.py来定义这个爬虫框架需要爬哪些内容:

# -*- coding: utf-8 -*-

# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html

import scrapy


class SouduItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()

接着我们编写 piplines.py来处理spider爬到的内容:

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
class ZimukuPipeline(object):
    def process_item(self, item, spider):

        # 因为是最简单的,所以我们把爬到的结果打印一下

        print(item)

        return item

步骤四:优化配置Settings.py

# -*- coding: utf-8 -*-

# Scrapy settings for soudu project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
#     https://doc.scrapy.org/en/latest/topics/settings.html
#     https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#     https://doc.scrapy.org/en/latest/topics/spider-middleware.html

BOT_NAME = 'soudu'

SPIDER_MODULES = ['soudu.spiders']
NEWSPIDER_MODULE = 'soudu.spiders'

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'soudu (+http://www.yourdomain.com)'

# Obey robots.txt rules
ROBOTSTXT_OBEY = True

#只增加了这一行,通过配置告诉Scrapy明白是谁来处理结果
ITEM_PIPELINES = {
   'soudu.pipelines.SouduPipeline': 300,
}

好了,这样一个爬虫就算完成了,那怎么获取爬到的结果呢???

运行

首先我们通过命令来执行爬虫:

$ scrapy crawl title

让我们这个最最简单的爬虫跑起来。

来看一下结果:

我只截取部分我们需要的内容,其他的我且暂不写出了:

2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>
{'第一部小说名': '圣墟'}

是不是可以看到我们需要找到的内容了?

Scrapy框架的基本使用已经说完了,以后我会一步一步来讲解其他的例子。


相关文章和视频推荐

圆方圆学院汇集 Python + AI 名师,打造精品的 Python + AI 技术课程。 在各大平台都长期有优质免费公开课,欢迎报名收看。

公开课地址:https://ke.qq.com/course/362788?flowToken=1007319

加入python学习讨论群 78486745 ,获取资料,和广大群友一起学习。

原文链接:https://www.fkomm.cn/article/2018/8/3/28.html

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏你不就像风一样

网络爬虫之Url含有中文如何转码

1052
来自专栏有趣的Python和你

Python数据分析之贴吧的问与答读取数据库获取question列分词词云

1233
来自专栏JavaEE

Java调用微信登录以及eclipse 远程调试前言:一、微信测试号的连接与申请:二、eclipse远程调试:总结:

3315
来自专栏云飞学编程

Python匹配方式之xpath,还在用正则吗?一节课带你学会更简单的xpath

  XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元...

1383
来自专栏大魏分享(微信公众号:david-share)

从PowerVM,KVM到Docker:存储池的配置与调优---第一篇终结(第3子篇)

VIOC 上的 VSCSI 性能调优 在本实验的 VIOC 中,一个磁盘对应 4 条 VSCSI 路径。查看磁盘默认的属性 ; # lsattr -El hdi...

5096
来自专栏微信小程序开发

小程序wx.canIUse和wx.getSystemInfo踏的坑

今天在做新功能时,用到小程序的获取用户手机号API,如下: getPhoneNumber: function(e) { console.log(e.d...

1.5K8
来自专栏向治洪

开源数据库框架greenDAO

最近在对开发项目的性能进行优化。由于项目里涉及了大量的缓存处理和数据库运用,需要对数据库进行频繁的读写、查询等操作。因此首先想到了对整个项目的数据库框架进行优...

2575
来自专栏梦里茶室

sqlite在Android上的一个bug:SQLiteCantOpenDatabaseException when nativeExecuteForCursorWindow

12-14 19:51:30.346 17770-18098/com.company.product W/System.err: com.company.pr...

4789
来自专栏向治洪

Android四大组件之Service

Android四大组件之Service 服务的两种开启方式: startService();开启服务. 开启服务后 服务就会长期的后台运行,即使调用者退出了....

2046
来自专栏前端杂货铺

Blob初探

简介   Blob在js中意味着二进制大数据。实现该接口的对象有3个属性,分别是type(MIME),size(byte)和 一个切割方法:slice(在大文件...

3313

扫码关注云+社区

领取腾讯云代金券