使用Python的Requests-HTML库进行网页解析
不要把工作当作生活的工具，把工作当生意做；
愿自己身体健健康康家人平安
祝各位同上，2019更精彩@all
-Tester-也哥-
01
进入正文
1
开始
Python 中可以进行网页解析的库有很多，常见的有BeautifulSoup和lxml等。在网上玩爬虫的文章通常都是介绍BeautifulSoup这个库，我平常也是常用这个库。
最近用Xpath用得比较多，使用BeautifulSoup就不大习惯。
很久之前就知道Reitz大神出了一个叫Requests-HTML的库，一直没有兴趣看，这回可算歹着机会用一下了。
使用pip install requests-html安装，上手和Reitz的其他库一样，轻松简单：
这个库是在requests库上实现的，r得到的结果是Response对象下面的一个子类，多个一个html的属性。
所以 requests 库的响应对象可以进行什么操作，这个 r 也都可以。如果需要解析网页，直接获取响应对象的 html 属性：
2
原理
不得不膜拜Reitz大神太会组装技术了。
实际上HTMLSession是继承自requests.Session这个核心类。
然后将requests.Session类里的requests方法改写。
返回自己的一个HTMLResponse对象。
这个类又是继承自requests.Response，只是多加了一个 _from_response的方法来构造实例：
之后在HTMLResponse里定义属性方法html，就可以通过html属性访问了，实现也就是组装PyQuery来干。
核心的解析类也大多是使用PyQuery和lxml来做解析，简化了名称，挺讨巧的。
3
元素定位
元素定位可以选择两种方式：
css选择器
◆ css选择器
◆ xpath
方法名非常简单，符合Python优雅的风格，这里不妨对这两种方式简单的说明。
4
CSS简单规则
◆ 标签名 h1
◆ id 使用 #id 表示
◆ class 使用 .class_name 表示
◆ 谓语表示：h1[prop=value]
5
Xpath简单规则
◆ 路径 // 或者 /
◆ 标签名
◆ 谓语 [@prop=value]
◆ 轴定位 名称::元素名[谓语]
定位到元素以后势必要获取元素里面的内容和属性相关数据，获取文本：
获取元素的属性：
还可以通过模式来匹配对应的内容：
这个功能看起来比较鸡肋，可以深入研究优化一下，说不定能在github上混个提交。
6
人性化操作
除了一些基础操作，这个库还提供了一些人性化的操作。
比如一键获取网页的所有超链接，这对于整站爬虫应该是个福音，URL管理比较方便：
内容页面通常都是分页的，一次抓取不了太多，这个库可以获取分页信息：
结果如下：
通过迭代器实现了智能发现分页，这个迭代器里面会用一个叫 _next 的方法，贴一段源码感受下：
通过查找a标签里面是否含有指定的文本来判断是不是有下一页，通常我们的下一页都会通过下一页或者加载更多来引导，他就是利用这个标志来进行判断。
默认的以列表形式存在全局：['next', 'more', 'older']。
我个人认为这种方式非常不灵活，几乎没有扩展性。
感兴趣的可以往github上提交代码优化。
7
加载JS
也许是考虑到了现在 js 的一些异步加载，这个库支持 js 运行时，官方说明如下：
使用非常简单，直接调用以下方法：
第一次使用的时候会下载Chromium，不过国内你懂的，自己想办法去下吧，就不要等它自己下载了。
render函数可以使用js脚本来操作页面，滚动操作单独做了参数。
这对于上拉加载等新式页面是非常友好的。
8
总结
Reitz大神设计出来的东西还是一如既往的简单好用，自己不多做，大多用别人的东西组装，简化api。真是够人性。
不过有的地方还是优化空间，希望有兴趣和精力的童鞋去github上关注一下这个项目。
本文来自公众号：柠檬班软件测试
文部分来源网络，如有侵权请第一时间联系删除。
02
相关推荐