专栏首页小怪聊职场爬虫课堂(十八)|编写Spider之使用Selector提取数据

爬虫课堂(十八)|编写Spider之使用Selector提取数据

上个章节说到从Spider的角度来看,爬取的运行流程如下循环:

  • 以初始的URL初始化Request,并设置回调函数。当该Request下载完毕并返回时,将生成Response,并作为参数传给该回调函数。
  • 在回调函数内分析返回的(网页)内容,返回Item对象或者Request或者一个包括二者的可迭代容器。返回的Request对象之后会经过Scrapy处理,下载相应的内容,并调用设置的callback函数(函数可相同)。
  • 在回调函数内,可以使用选择器(Selectors) 来分析网页内容,并根据分析的数据生成Item。
  • 最后,由Spider返回的Item将被存到数据库或存入到文件中。

可以看出来使用Selector来分析提取网页内容是在编写Spider中必不可少,同时也是最重要的工作之一,这一章节我们就来学习使用Selector如何提取网页数据。 一、选择器(Selectors)介绍 当抓取网页时,做的最常见的任务是从HTML源码中提取数据。在Python中常用以下库处理这类问题:

  • BeautifulSoup BeautifulSoup是在程序员间非常流行的网页分析库,它基于HTML代码的结构来构造一个Python对象,对不良标记的处理也非常合理,API简洁易用,但解析速度较慢。
  • lxml lxml是一个基于 ElementTree (不是Python标准库的一部分)的Python化的XML解析库(也可以解析HTML),它解析速度较快,API较复杂。

Scrapy结合上面两者优点自己实现了提取数据的一套机制,它们被称作选择器(seletors)。Scrapy选择器构建于 lxml 库之上,并简化了API接口。 Scrapy选择器包括XPath和CSS两种。XPath是一门用来在XML文件中选择节点的语言,也可以用在HTML上。CSS 是一门将HTML文档样式化的语言。 二、XPath选择器介绍及使用 关于XPath选择器的介绍和使用详见之前写的文章:爬虫课程(八)|豆瓣:十分钟学会使用XPath选择器提取需要的元素值 三、CSS选择器介绍及使用 3.1、CSS选择器介绍 和XPath选择器比起来,CSS选择器的语法比XPath更简单一些,但功能不如XPath强大。相对来说,前端工程师可能会更加喜欢使用CSS选择器,同时它的使用方式跟写.css时方法基本一样。 CSS的基本语法如下表所示:

选择器

例子

例子描述

*

*

选择所有元素

#id

#container

选择id=“container”的所有元素

.class

.container

选择class=“container”的所有元素

element

p

选择所有 <p> 元素。

element,element

div,p

选择所有 <div> 元素和所有 <p> 元素

element element

li a

选择 <li> 元素内部的所有 <a> 元素

element>element

div>p

选择父元素为 <div> 元素的所有 <p> 元素

element element

div+p

选择紧接在 <div> 元素之后的所有 <p> 元素

[attribute]

[target]

选择带有 target 属性所有元素

[attribute=value]

[target=_blank]

选择 target="_blank" 的所有元素

[attribute~=value]

[title~=flower]

选择 title 属性包含单词 "flower" 的所有元素

[attribute|=value]

[lang|=en]

选择 lang 属性值以 "en" 开头的所有元素

:link

a:link

选择所有未被访问的链接

:first-child

p:first-child

选择属于父元素的第一个子元素的每个 <p> 元素

element1~element2

p~ul

选择前面有 <p> 元素的每个 <ul> 元素

[attribute^=value]

a[src^="https"]

选择其 src 属性值以 "https" 开头的每个 <a> 元素

[attribute$=value]

a[src$=".pdf"]

选择其 src 属性以 ".pdf" 结尾的所有 <a> 元素

[attribute*=value]

a[src*="abc"]

选择其 src 属性中包含 "abc" 子串的每个 <a> 元素

:empty

p:empty

选择没有子元素的每个 <p> 元素(包括文本节点)

:nth-child(n)

p:nth-child(2)

选择属于其父元素的第二个子元素的每个 <p> 元素

:nth-last-child(n)

p:nth-last-child(2)

同上,从最后一个子元素开始计数

::text

p::text

选择<P>元素的文本节点(Text Node)

3.2、CSS选择器使用 还是以提取豆瓣读书书籍信息为例:

豆瓣读书书籍信息

我要选择<ul>元素并且class=“cover-col-4 clearfix”下的li元素。 使用XPath为: book_list = sel.xpath('//ul[@class="cover-col-4 clearfix"]/li') 使用CSS为: book_list = sel.css('ul.cover-col-4.clearfix li')

其他的更多使用方式,我在后面的实战章节详细讲解下。 四、其他 有兴趣的可以查看下Selector对象源码。

Selector对象的源码

从源码中,发现当调用Selector对象的CSS方法时,在其内部会将CSS选择器表达式翻译成XPath表达式,然后调用Selector对象的XPath方法。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 爬虫课程(八)|豆瓣:十分钟学会使用XPath选择器提取需要的元素值

    黄小怪
  • MySQL(二)|深入理解MySQL的四种隔离级别及加锁实现原理

    黄小怪
  • 管理|企业如何制定KPI指标?看这一篇文章就够了!

    黄小怪
  • html5 新特性

    1.querySelector 返回文档中匹配指定css选择器的一个元素.     注意:uerySelector() 方法仅仅返回匹配指定选择器的第一个元...

    用户1197315
  • 微信公众帐号推荐

    前端GoGoGo
  • C++ STL stack和queue

    C++ STL中独立的序列式容器只有vector,list,deque三种,stack和queue其实就是使用容器适配器对deque进行了封装,使用了新接口。 ...

    用户1215536
  • Python内置函数使用说明

    函数功能简要说明abs(x)返回数字x的绝对值或复数x的模all(iterable)如果对于可迭代对象iterable中所有元素x都有bool(x)为True,...

    Python小屋屋主
  • 5种你未必知道的JavaScript和CSS交互的方法

    随着浏览器不断的升级改进,CSS和JavaScript之间的界限越来越模糊。本来它们是负责着完全不同的功能,但最终,它们都属于网页前端技术,它们需要相互密切的合...

    疯狂的技术宅
  • Tetris Game / 俄罗斯方块 JavaScript/TypeScript源码

    Tetris Game / 俄罗斯方块 浏览器兼容 ie8+, chrome, firefox ... 小时候穷,买不起游戏机,现在用js写一个来弥补一下童...

    IMWeb前端团队
  • 泛型算法

    标准容器自身提供的操作少之又少,在多数情况下可能希望对容器进行其他操作,例如排序、删除指定元素等等。标准库容器中并未针对每个容器都定义成员函数来实现这些操作,而...

    Masimaro

扫码关注云+社区

领取腾讯云代金券