专栏首页Python编程与实战爬虫必备技能之网页解析库:xpath用法和实战

爬虫必备技能之网页解析库:xpath用法和实战

环境配置

1.本文使用的python版本是python3

2.使用到的依赖包如下:

requests scrapy

在安装 scrapy 之前需要先安装 Twisted 地址: https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted。下载符合自己版本的 Twisted,然后将其放入 python 安装目录中,先使用命令安装 pip install Twisted。安装完之后,scrapy 就很容易安装了,安装命令如下: pip install scrapy

本文要点

1.xpath 基本语法和用法示例

2.使用 xpath 爬取《盗墓笔记》实例

xpath 基本语法

xpath,全称 XML Path Language,即 XML 路径语言,它是一门在 XML 文档中查找信息的语言。 xpath 的选择功能十分强大,它提供了非常简洁明了的路径选择表达式,几乎所有我们想要定位的节点都可以用 xpath 来选择。首先我们来看下 xpath 的基本语法。

在这里列出了xpath的常用匹配规则,例如 / 代表选取直接子节点,// 代表选择所有子孙节点,. 代表选取当前节点,.. 代表选取当前节点的父节点,@ 则是加了属性的限定,选取匹配属性的特定节点。

xpath 用法举例

接下来我们以豆瓣电影为例子,来熟悉一下 xpath 基本用法: 打开网页 https://movie.douban.com/top250

豆瓣电影top250 首先需要找到我们所匹配的内容在 html 中的位置。 从图片中可以看到排名第一的电影标题是在标签为 div,class 属性为 *hd中的 a 标签中所有的 span 标签里面! 然后我们需要一级一级往上面找,因为这个层级太深了,有时候会匹配不到我们所需要的内容。 我们最开始匹配的标签要满足它的所有特征加起来是唯一的。 很容易看到属性为 article 正是我们所需要的标签!因为找不到第二个 div 标签且class 属性为 article 的标签! 因为是文本内容,所以要用 text(),获取电影标题语法如下 :

1html.xpath(".//div[@class='article']/ol/li[1]//div[@class='hd']/a//span[1]/text()")

同理,我们获取电影详情链接的语法,因为是属性,所以要用 @属性值

1html.xpath(".//div[@class='article']/ol/li[1]//div[@class='hd']/a/@href")

我们可以将其加入到爬虫代码中,效果如下:

豆瓣电影爬虫

使用 xpath 爬取盗墓笔记

目标地址: 盗墓笔记全篇 http://seputu.com/

总体思路:

1.分析网页结构,取出我们需要的标题,以及下一步需要用到的链接

2.根据章节的链接地址,再爬取出章节小说

首先分析我们需要爬取的内容,在网页中的位置。

经过上面的讲解,相信大家很容易就可以写出 xpath 的语法。因为我们是要爬取所有小说内容,所以我们要循环所有 li 标签里面的内容!

1html.xpath(".//div[@class='box']/ul//li")

遍历这个列表,取出我们所需要的章节,详细链接

1li_list = selector.xpath(".//div[@class='box']/ul//li")
2    for text in li_list:
3        title = text.xpath("./a/text()").extract_first('')
4        href = text.xpath('./a/@href').extract_first('')

接下来,从详情链接中取出小说内容,即完成了这个小爬虫!

1p_list = selector.xpath(".//div[@class='content-body']//p")
2    for data in p_list:
3        content += data.xpath("./text()").extract_first('')

最重要的分析部分完成了,接下来主要就是将所有的内容放入代码中,然后保存到本地就完成了。

最终爬虫代码如下:

 1# coding: utf-8
 2from scrapy import Selector
 3import requests
 4
 5
 6class KeyEnum(object):
 7    TITLE = "title"
 8    CONTENT = "content"
 9    HREF = "href"
10
11
12class NovelSpider(KeyEnum):
13
14    def __init__(self):
15        self.headers = {
16            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
17                          "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"
18        }
19
20    def spider(self):
21        url = 'http://seputu.com/'
22        response = requests.get(url, headers=self.headers)
23        selector = Selector(text=response.content)
24        data_list = []
25        li_list = selector.xpath(".//div[@class='box']/ul//li")  # 章节列表
26        for text in li_list:
27            title = text.xpath("./a/text()").extract_first('')  # 标题
28            href = text.xpath('./a/@href').extract_first('')  # 链接
29            content = self._content_spider(href)  # 详情页面爬虫
30            data_list.append(
31                {
32                    KeyEnum.HREF: href,
33                    KeyEnum.TITLE: title,
34                    KeyEnum.CONTENT: content,
35                }
36            )
37
38        return data_list
39
40    def _content_spider(self, url):
41        content = ''
42
43        for _ in range(5):  # 因为没用代理,如果失败,再重试5次
44            if url:  # 加个url是否为空的判断
45                response = requests.get(url, headers=self.headers)
46                if response.status_code != 200:
47                    continue
48                selector = Selector(text=response.content)
49
50                p_list = selector.xpath(".//div[@class='content-body']//p")
51                for data in p_list:
52                    content += data.xpath("./text()").extract_first('')
53
54            return content
55
56    def main(self):
57        data_list = self.spider()
58        for i in data_list:
59            with open('盗墓笔记.txt', 'a', encoding='utf-8')as f:
60                f.write(i['content'])
61
62
63if __name__ == '__main__':
64    spider = NovelSpider()
65    spider.main()

总结

本文主要介绍了 python 中解析库 xpath 的使用方法和示例,用法其实很简单,关键在于多多练习!下篇文章打算分享另一个解析库 css 的用法,以及和 xpath 之间的区别,欢迎关注!


本文分享自微信公众号 - Python编程与实战(pthon1024),作者:Jerryning

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-03-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • app逆向实战强化篇——破解某安卓APP请求加密参数

    今天分享另一个app逆向的实战 如果觉得对你有用,还请关注下公众号,后续会有更多的实战教学篇,以免错过噢! 话不多说,进入正题,开搞

    Python编程与实战
  • 这 9 种方法有效帮你提高国内访问 Github 的速度

    也就是说上面的镜像就是一个克隆版的 GitHub,你可以访问上面的镜像网站,网站的内容跟 GitHub 是完整同步的镜像,然后在这个网站里面进行下载克隆等操作。

    Python编程与实战
  • app逆向入门分析——破解某APP登陆请求参数

    前段时间做爬虫遇到一个app,里面的数据需要登录之后才能拿到,而且登录不能用密码,只能通过验证码登录。 这不是明摆着欺负人么,按赵四哥那句话来说就是:

    Python编程与实战
  • python脚本备份

    De4dCr0w
  • 《ElasticSearch6.x实战教程》之简单搜索、Java客户端(上)

    掌握ES搜索查询的RESTful的API犹如掌握关系型数据库的SQL语句,尽管Java客户端API为我们不需要我们去实际编写RESTful的API,但在生产环境...

    用户1148394
  • python读写文件

    本文系海特网编程技术斑竹Cute所发表,版权归海特网与Cute所有,转载请保留完整信息

    py3study
  • 干货!推荐个抓包工具Charles的使用

    要毕业的同学,又要开始做自己的毕业设计了,如果想模仿市面上的某款知名App,我们就要用款抓包工具直接来获取一些数据接口过来使用 。这样后端的工作,就不需要我们自...

    程序IT圈
  • 【Python】Python读写文件操作

    http://blog.csdn.net/adupt/article/details/4435615

    py3study
  • GitHub开源城市结构公交路线数据可视化

    本开源项目用公交路线数据,还原城市结构,通过数据可视化手段,还原了 30 多个城市的城市结构。

    不脱发的程序猿
  • Kubernetes Node Co

    Author: xidianwangtao@gmail.com NewNodeController入口 Controller Manager在启动时,会启...

    Walton

扫码关注云+社区

领取腾讯云代金券