​ Python爬虫 --- 2.2 Scrapy 选择器的介绍

Python爬虫 --- 2.2 Scrapy 选择器的介绍

原文链接:https://www.fkomm.cn/article/2018/8/2/27.html

在使用Scrapy框架之前,我们必须先了解它是如何筛选数据的

Scrapy提取数据有自己的一套机制,被称作选择器(selectors),通过特定的Xpath或者CSS表达式来选择HTML文件的某个部分, Xpath是专门在XML文件中选择节点的语言,也可以用在HTML上。 CSS是一门将HTML文档样式化的语言,选择器由它定义,并与特定的HTML元素的样式相关联。而且这些选择器构造于‘lxml’之上,这就意味着Scrapy框架下的数据筛选有着很高的效率。

基本选择器:

Scrapy爬虫支持多种信息提取的方法:

  • Beautiful Soup
  • Lxml
  • re
  • XPath Selector
  • CSS Selector

下面我们来介绍Xpath选择器和CSS选择器的使用:

Xpath选择器

1.介绍一下XPath:

XPath 是一门在xml文档中查找信息的语言,它可以在XML文档中对于原色和属性进行遍历。其内置了超过100个内建函数,这些函数用于对字符串值,数值、日期、时间进行比较遍历。总之是一门很方便的语言。

2.在网络爬虫中,我们只需要利用XPath来采集数据,所以只要掌握一些基本语法,就可以上手使用了。

基本使用语法,如下表:

pic1.png

3.实例介绍:

下面我们将以这个book.xml为例子来介绍:

<html>
     <body>
         <bookstore>
             <book>
                 <title>水浒传</title>
                 <author>施耐庵</author>
                 <price>58.95</price>
             </book>
             <book>
                 <title>西游记</title>
                 <author>吴承恩</author>
                 <price>58.3</price>
             </book>
             <book>
                 <title>三国演义</title>
                 <author>罗贯中</author>
                 <price>48.3</price>
             </book>
             <book>
                 <title>红楼梦</title>
                 <author>曹雪芹</author>
                 <price>75</price>
             </book>
         </bookstore>
     </body>
 </html>
  • 先将我们需要使用的模块导入(调试环境为ipython):
In [1]: from scrapy.selector import Selector

  In [2]: body = open('book.xml','r').read()

  In [3]: print(body)
  <html>
      <body>
          <bookstore>
              <book>
                  <title>水浒传</title>
                  <author>施耐庵</author>
                  <price>58.95</price>
              </book>
              <book>
                  <title>西游记</title>
                  <author>吴承恩</author>
                  <price>58.3</price>
              </book>
              <book>
                  <title>三国演义</title>
                  <author>罗贯中</author>
                  <price>48.3</price>
              </book>
              <book>
                  <title>红楼梦</title>
                  <author>曹雪芹</author>
                  <price>75</price>
              </book>
          </bookstore>
      </body>
  </html>

  In [4]: body
  Out[4]: '<html>\n\t<body>\n\t\t<bookstore>\n\t\t\t<book>\n\t\t\t\t<title>水浒传</title>\n\t\t\t\t<author>施耐庵</author>\n\t\t\t\t<price>58.95</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>西游记</title>\n\t\t\t\t<author>吴承恩</author>\n\t\t\t\t<price>58.3</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>三国演义</title>\n\t\t\t\t<author>罗贯中</author>\n\t\t\t\t<price>48.3</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>红楼梦</title>\n\t\t\t\t<author>曹雪芹</author>\n\t\t\t\t<price>75</price>\n\t\t\t</book>\n\t\t</bookstore>\n\t</body>\n</html>'

  In [5]:
  • 下面我们来举几个小例子,说明一下如何通过xpath找到我们想要的数据:
In [5]: print("如果我们要第一个book的内容")
  如果我们要第一个book的内容

  In [7]: Selector(text=body).xpath('/html/body/bookstore/book[1]').extract()
  Out[7]: ['<book>\n\t\t\t\t<title>水浒传</title>\n\t\t\t\t<author>施耐庵</author>\n\t\t\t\t<price>58.95</price>\n\t\t\t</book>']

  In [8]: print("如果我们要最后一个book的内容")
  如果我们要最后一个book的内容

  In [9]: Selector(text=body).xpath('/html/body/bookstore/book[last()]').extract()
  Out[9]: ['<book>\n\t\t\t\t<title>红楼梦</title>\n\t\t\t\t<author>曹雪芹</author>\n\t\t\t\t<price>75</price>\n\t\t\t</book>']

  In [10]: print("如果我们要最后一个book的author属性的文本")
  如果我们要最后一个book的author属性的文本

  In [11]: Selector(text=body).xpath('/html/body/bookstore/book[last()]/author/text()').extract()
  Out[11]: ['曹雪芹']

  In [12]: print("下面是xpath的嵌套使用")
  下面是xpath的嵌套使用

  In [13]: subbody=Selector(text=body).xpath('/html/body/bookstore/book[3]').extract()

  In [14]: Selector(text=subbody[0]).xpath('//author/text()').extract()
  Out[14]: ['罗贯中']

  In [15]: Selector(text=subbody[0]).xpath('//book/author/text()').extract()
  Out[15]: ['罗贯中']

  In [16]: Selector(text=subbody[0]).xpath('//book/title/text()').extract()
  Out[16]: ['三国演义']

CSS选择器

1.介绍一下CSS:

和Xpath选择器比起来,感觉CSS选择器容易一些,跟写.css时方法基本一样,就是在获取内容时和Xpath不同,这里需要注意一下。

2.基本使用语法,如下表:

pic2.png

3.实例介绍:

下面我们还是以这个book.xml为例子来介绍:

  • 上面xpath讲过如何导入模块了,下面我们来举几个小例子,说明一下如何通过css找到我们想要的数据:
In [2]: print("如果我们要所有节点的内容")
  如果我们所有节点的内容

  In [3]: Selector(text=body).css('*').extract()
  Out[3]:
  ['<html>\n\t<body>\n\t\t<bookstore>\n\t\t\t<book>\n\t\t\t\t<title>水浒传</title>\n\t\t\t\t<author>施耐庵</author>\n\t\t\t\t<price>58.95</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>西游记</title>\n\t\t\t\t<author>吴承恩</author>\n\t\t\t\t<price>58.3</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>三国演义</title>\n\t\t\t\t<author>罗贯中</author>\n\t\t\t\t<price>48.3</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>红楼梦</title>\n\t\t\t\t<author>曹雪芹</author>\n\t\t\t\t<price>75</price>\n\t\t\t</book>\n\t\t</bookstore>\n\t</body>\n</html>',
  '<body>\n\t\t<bookstore>\n\t\t\t<book>\n\t\t\t\t<title>水浒传</title>\n\t\t\t\t<author>施耐庵</author>\n\t\t\t\t<price>58.95</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>西游记</title>\n\t\t\t\t<author>吴承恩</author>\n\t\t\t\t<price>58.3</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>三国演义</title>\n\t\t\t\t<author>罗贯中</author>\n\t\t\t\t<price>48.3</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>红楼梦</title>\n\t\t\t\t<author>曹雪芹</author>\n\t\t\t\t<price>75</price>\n\t\t\t</book>\n\t\t</bookstore>\n\t</body>',
  '<bookstore>\n\t\t\t<book>\n\t\t\t\t<title>水浒传</title>\n\t\t\t\t<author>施耐庵</author>\n\t\t\t\t<price>58.95</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>西游记</title>\n\t\t\t\t<author>吴承恩</author>\n\t\t\t\t<price>58.3</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>三国演义</title>\n\t\t\t\t<author>罗贯中</author>\n\t\t\t\t<price>48.3</price>\n\t\t\t</book>\n\t\t\t<book>\n\t\t\t\t<title>红楼梦</title>\n\t\t\t\t<author>曹雪芹</author>\n\t\t\t\t<price>75</price>\n\t\t\t</book>\n\t\t</bookstore>',
  '<book>\n\t\t\t\t<title>水浒传</title>\n\t\t\t\t<author>施耐庵</author>\n\t\t\t\t<price>58.95</price>\n\t\t\t</book>',
  '<title>水浒传</title>',
  '<author>施耐庵</author>',
  '<price>58.95</price>',
  '<book>\n\t\t\t\t<title>西游记</title>\n\t\t\t\t<author>吴承恩</author>\n\t\t\t\t<price>58.3</price>\n\t\t\t</book>',
  '<title>西游记</title>',
  '<author>吴承恩</author>',
  '<price>58.3</price>',
  '<book>\n\t\t\t\t<title>三国演义</title>\n\t\t\t\t<author>罗贯中</author>\n\t\t\t\t<price>48.3</price>\n\t\t\t</book>',
  '<title>三国演义</title>',
  '<author>罗贯中</author>',
  '<price>48.3</price>',
  '<book>\n\t\t\t\t<title>红楼梦</title>\n\t\t\t\t<author>曹雪芹</author>\n\t\t\t\t<price>75</price>\n\t\t\t</book>',
  '<title>红楼梦</title>',
  '<author>曹雪芹</author>',
  '<price>75</price>']

  In [4]: print("如果我们要bookstore下的所有内容")
  如果我们要bookstore下的所有内容

  In [5]: Selector(text=body).css('bookstore book').extract()
  Out[5]:
  ['<book>\n\t\t\t\t<title>水浒传</title>\n\t\t\t\t<author>施耐庵</author>\n\t\t\t\t<price>58.95</price>\n\t\t\t</book>',
  '<book>\n\t\t\t\t<title>西游记</title>\n\t\t\t\t<author>吴承恩</author>\n\t\t\t\t<price>58.3</price>\n\t\t\t</book>',
  '<book>\n\t\t\t\t<title>三国演义</title>\n\t\t\t\t<author>罗贯中</author>\n\t\t\t\t<price>48.3</price>\n\t\t\t</book>',
  '<book>\n\t\t\t\t<title>红楼梦</title>\n\t\t\t\t<author>曹雪芹</author>\n\t\t\t\t<price>75</price>\n\t\t\t</book>']

由于book.xml没有元素,只有节点,所以只能列举以上例子,大家可以看到,css选择器比起xpath选择器更为的简洁。

总结

好了,以上就是对Scrapy 选择器的介绍以及简单的使用,后面我会慢慢介绍Scrapy框架的具体使用。


相关文章和视频推荐

圆方圆学院汇集 Python + AI 名师,打造精品的 Python + AI 技术课程。 在各大平台都长期有优质免费公开课,欢迎报名收看。

公开课地址:https://ke.qq.com/course/362788?flowToken=1007319

加入python学习讨论群 78486745 ,获取资料,和广大群友一起学习。

原文链接:https://www.fkomm.cn/article/2018/8/2/27.html

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏HTML5学堂

段落首字下沉

HTML5学堂:在项目中,时常能看到了一种文字展示的特殊效果——首字下沉(如图)。于是花了几分钟考虑了一下使用方法,脑测之后,又敲了敲代码实现了一下,写出来与大...

4085
来自专栏好好学java的技术栈

特别的520,送给特别的你们,还不来看看?

1212
来自专栏智能大石头

GridView绑定小技

1,使用表达式。如下,缺货的产品用红色,别的绿色。 ? ? 实际上,就这个表达式: (Int32)Eval("Num")<(Int32)Eval("MinNum...

2238
来自专栏数说工作室

【SAS Says】基础篇:ODS的使用(下)

特别说明:本节【SAS Says】基础篇:SAS软件入门(下),用的是数说君学习《The little SAS book》时的中文笔记,我们认为这是打基础的最好...

2844
来自专栏游戏杂谈

利用threshold实现的遮罩引导

点击“开始引导”,则进入引导操作。除指定的按钮可以操作外,其它区域均不可点击。这种应用当新功能或是新产品上线后,用来引导用户来使用产品/功能,是十分有用的。fa...

1091
来自专栏吾爱乐享

php学习之html的标签属性(二)

1502
来自专栏GopherCoder

『Go 内置库第一季:time』

时间的操作在项目中使用的非常频繁,比如说数据库中,经常有时间的操作,比如根据时间进行划分,统计之类的功能。

1233
来自专栏JackieZheng

初探JavaScript(二)——JS如何动态操控HTML

  除去五一三天,我已经和《JavaScript Dom编程艺术》磨合了六天,第一印象很好。慢慢的,我发现这是一块排骨,除了肉还有骨头。遇到不解的地方就会多看几...

2875
来自专栏python3

scrapy选择器css

CSS是网页代码中非常重要的一环,即使不是专业的Web从业人员,也有必要认真学习一下

932
来自专栏小灰灰

cocos2dx-v3.4 2048(四):游戏逻辑的设计与实现

前言 ---- 2048的游戏逻辑比较简单,向四个方向移动单元格,若相邻的单元格数字相同,则合并成一个新的单元格,且数字为之前的两倍;若不同,则移动到目的方向上...

3986

扫码关注云+社区

领取腾讯云代金券