专栏首页猪圈子使用Python的Requests-HTML库进行网页解析

使用Python的Requests-HTML库进行网页解析

不要把工作当作生活的工具,把工作当生意做;

愿自己身体健健康康家人平安

祝各位同上,2019更精彩@all

-Tester-也哥-

01

进入正文

1

开始

Python 中可以进行网页解析的库有很多,常见的有BeautifulSoup和lxml等。在网上玩爬虫的文章通常都是介绍BeautifulSoup这个库,我平常也是常用这个库。

最近用Xpath用得比较多,使用BeautifulSoup就不大习惯。

很久之前就知道Reitz大神出了一个叫Requests-HTML的库,一直没有兴趣看,这回可算歹着机会用一下了。

使用pip install requests-html安装,上手和Reitz的其他库一样,轻松简单:

这个库是在requests库上实现的,r得到的结果是Response对象下面的一个子类,多个一个html的属性。

所以 requests 库的响应对象可以进行什么操作,这个 r 也都可以。如果需要解析网页,直接获取响应对象的 html 属性:

2

原理

不得不膜拜Reitz大神太会组装技术了。

实际上HTMLSession是继承自requests.Session这个核心类。

然后将requests.Session类里的requests方法改写。

返回自己的一个HTMLResponse对象。

这个类又是继承自requests.Response,只是多加了一个 _from_response的方法来构造实例:

之后在HTMLResponse里定义属性方法html,就可以通过html属性访问了,实现也就是组装PyQuery来干。

核心的解析类也大多是使用PyQuery和lxml来做解析,简化了名称,挺讨巧的。

3

元素定位

元素定位可以选择两种方式:

css选择器

◆ css选择器

◆ xpath

方法名非常简单,符合Python优雅的风格,这里不妨对这两种方式简单的说明。

4

CSS简单规则

◆ 标签名 h1

◆ id 使用 #id 表示

◆ class 使用 .class_name 表示

◆ 谓语表示:h1[prop=value]

5

Xpath简单规则

◆ 路径 // 或者 /

◆ 标签名

◆ 谓语 [@prop=value]

◆ 轴定位 名称::元素名[谓语]

定位到元素以后势必要获取元素里面的内容和属性相关数据,获取文本:

获取元素的属性:

还可以通过模式来匹配对应的内容:

这个功能看起来比较鸡肋,可以深入研究优化一下,说不定能在github上混个提交。

6

人性化操作

除了一些基础操作,这个库还提供了一些人性化的操作。

比如一键获取网页的所有超链接,这对于整站爬虫应该是个福音,URL管理比较方便:

内容页面通常都是分页的,一次抓取不了太多,这个库可以获取分页信息:

结果如下:

通过迭代器实现了智能发现分页,这个迭代器里面会用一个叫 _next 的方法,贴一段源码感受下:

通过查找a标签里面是否含有指定的文本来判断是不是有下一页,通常我们的下一页都会通过下一页或者加载更多来引导,他就是利用这个标志来进行判断。

默认的以列表形式存在全局:['next', 'more', 'older']。

我个人认为这种方式非常不灵活,几乎没有扩展性。

感兴趣的可以往github上提交代码优化。

7

加载JS

也许是考虑到了现在 js 的一些异步加载,这个库支持 js 运行时,官方说明如下:

使用非常简单,直接调用以下方法:

第一次使用的时候会下载Chromium,不过国内你懂的,自己想办法去下吧,就不要等它自己下载了。

render函数可以使用js脚本来操作页面,滚动操作单独做了参数。

这对于上拉加载等新式页面是非常友好的。

8

总结

Reitz大神设计出来的东西还是一如既往的简单好用,自己不多做,大多用别人的东西组装,简化api。真是够人性。

不过有的地方还是优化空间,希望有兴趣和精力的童鞋去github上关注一下这个项目。

本文来自公众号:柠檬班软件测试

文部分来源网络,如有侵权请第一时间联系删除。

02

相关推荐

Python就业指导

Python的这几个技巧,简直屌爆了

linux+python+django环境搭建/启动服务

本文分享自微信公众号 - 猪圈子(Tester-sc)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-02-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

推荐阅读

  • 远程办公经验为0,如何将日常工作平滑过度到线上?

    我是一名创业者,我的公司(深圳市友浩达科技有限公司)在2018年8月8日开始运营,现在还属于微型公司。这个春节假期,我一直十分关注疫情动向,也非常关心其对公司带来的影响。

    TVP官方团队
    TAPD 敏捷项目管理腾讯乐享企业邮箱企业编程算法
  • 数据中台,概念炒作还是另有奇效? | TVP思享

    作者简介:史凯,花名凯哥,腾讯云最具价值专家TVP,ThoughtWorks数据智能业务总经理。投身于企业数字化转型工作近20年。2000年初,在IBM 研发企业级中间件,接着加入埃森哲,为大型企业提供信息化架构规划,设计,ERP,云平台,数据仓库构建等技术咨询实施服务,随后在EMC负责企业应用转型业务,为企业提供云迁移,应用现代化服务。现在专注于企业智能化转型领域,是数据驱动的数字化转型的行业布道者,数据中台的推广者,精益数据创新体系的创始人,2019年荣获全球Data IQ 100人的数据赋能者称号,创业邦卓越生态聚合赋能官TOP 5。2019年度数字化转型专家奖。打造了行业第一个数据创新的数字化转型卡牌和工作坊。创建了精益数据创新方法论体系构建数据驱动的智能企业,并在多个企业验证成功,正在向国内外推广。

    TVP官方团队
    大数据数据分析企业
  • 扩展 Kubernetes 之 CRI

    使用 cri-containerd 的调用流程更为简洁, 省去了上面的调用流程的 1,2 两步

    王磊-AI基础
    Kubernetes
  • 扩展 Kubernetes 之 Kubectl Plugin

    kubectl 功能非常强大, 常见的命令使用方式可以参考 kubectl --help,或者这篇文章

    王磊-AI基础
    Kubernetes
  • 多种登录方式定量性能测试方案

    最近接到到一个测试任务,某服务提供了两种登录方式:1、账号密码登录;2、手机号+验证码登录。要对这两种登录按照一定的比例进行压测。

    八音弦
    测试服务 WeTest
  • 线程安全类在性能测试中应用

    首先验证接口参数签名是否正确,然后加锁去判断订单信息和状态,处理用户增添VIP时间事务,成功之后释放锁。锁是针对用户和订单的分布式锁,使用方案是用的redis。

    八音弦
    安全编程算法
  • 使用CDN(jsdelivr) 优化博客访问速度

    PS: 此篇文章适用于 使用 Github pages 或者 coding pages 的朋友,其他博客也类似.

    IFONLY@CUIT
    CDNGitGitHub开源
  • 扩展 Kubernetes 之 CNI

    Network Configuration 是 CNI 输入参数中最重要当部分, 可以存储在磁盘上

    王磊-AI基础
    Kubernetes
  • 聚焦【技术应变力】云加社区沙龙online重磅上线!

    云加社区结合特殊时期热点,挑选备受关注的音视频流量暴增、线下业务快速转线上、紧急上线防疫IoT应用等话题,邀请众多业界专家,为大家提供连续十一天的干货分享。从视野、预判、应对等多角度,帮助大家全面提升「技术应变力」!

    腾小云
  • 京东购物小程序购物车性能优化实践

    它是小程序开发工具内置的一个可视化监控工具,能够在 OS 级别上实时记录系统资源的使用情况。

    WecTeam
    渲染JavaScripthttps网络安全缓存

扫码关注云+社区

领取腾讯云代金券