Python学习,还在用正则或者bs4做爬虫吗?来试试css选择器吧

点击上方,轻松关注!!

之前写的一些爬虫都是用的正则、bs4、xpath做为解析库来实现,如果你对web有所涉及,并且比较喜欢css选择器,那么就有一个更适合的解析库—— PyQuery。我们就用一个非常简单的小例子来看看css选择器做爬虫是怎么样的!

安装

直接pip安装即可:pip install pyquery

安装完成后,运行 pip show pyquery,如果出现相关信息即为安装完成!

如果pip安装失败,可以去官网https://pypi.org/project/pyquery/#downloads下载wheel文件,然后用pip安装即可,注意文件名字要写全,比如:pip install pyquery-1.2.17-py2.py3-none-any.whl ,该命令请在同一目录下使用。

使用

确保安装成功后就可以开始使用了,它和其他库一样,PyQuery 初始化的时候也需要传入 HTML 数据源来初始化一个操作对象,它的初始化方式有多种,比如直接传入字符串,传入 URL,传文件名。

我们用requests库搭配来写个简单的抓取凤凰新闻的小爬虫,方便理解:

打开凤凰网——资讯——即时新闻,我们就以抓取这个页面的所有新闻为例吧!

这里没有反爬,页数也不是很多(4页),非常方便用来讲解!分析下网页结构后发现,所有的新闻目录都存在于网页源代码中,每页大概有60多条,我们先来抓取一页的标题和url试试

可以看到,标题和url都在class=newsList的div下的ul->li->a标签下(用a标签的target属性匹配的话太多,不好清洗),我们可以直接写如代码去获取相关内容了,如下图:

前面是常规的requests库获取源代码html,然后用PyQuery解析网页源代码,重点是后面的定位到a标签和取出内容。

doc('.newsList ul a') 的意思是定位class属性为newsList的标签下面的ul下面的a标签,注意newsList前面有个点,代表class属性,ul和a标签之间有个li标签,因为ul下的a标签是唯一,所以省略了(ul标签没有省略是因为最下面翻页部分也在这个div下,省略会有其他内容出现,下面会单独提取)!然后定位到a标签后,用items()方法将所有的a标签取出,然后遍历取出里面的内容。

这里提取标签的内容用了2个方法text()和attr():

text()方法,可以提取出标签下的所有文本内容,注意是所有!!!

attr()方法,取出标签的某属性,2中写法都可以:new.attr.href 和new.attr('href')

然后在看翻页,我们只需要判断是否存在下一页,存在时,查找所有的标题和url,然后获取下一页的url,继续查找,直到不存在下一页,所有的页面就都遍历过了!为了方便,直接做成了一个函数,来看代码

这里同样的用class属性来定位,找到它下的a标签,然后判断‘下一页’是否存在a标签的文本中,存在则取出下一页的url,然后再次调用函数,不存在则退出!

这样,我们就得到了4页所有的title和url的内容,在来看看新闻详情页的情况,所有的网页文本内容都在id="main_content"的div下的好多p标签中,那么就用到了text()方法了!来看图

这样,我们就取到了所有内容,整合下,最后代码如下:

随手写的代码,就不写入文本或者数据库什么了,主要是学习css选择器的使用!

最后

到这里PyQuery 的用法就介绍完了,当然只是用到了很少一部分,还有好多功能没有在这里使用,大家有兴趣可以去看看官方文档或者教程,而且css选择器也可以使用在scrapy框架!是非常方便的一种方式!

现在学习python的人越来越多,很多人还在找资料,或者疑问哪本书是否有用,或者想找个可以指导的老师,或者在寻找一起学习的小伙伴,如果你也是需要资料或者需要帮助的话,可以关注我,私信一起来交流学习! 转载是一种动力 分享是一种美德

原文发布于微信公众号 - 云飞学python(P542110741)

原文发表时间:2018-06-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

微信小程序电商实战-首页(上)

上一篇:微信小程序电商实战-入门篇 嗨,大家好!经过近两周的精心准备终于开始微信小程序电商实战之路喽。那么最终会做成什么样呢?好了,不啰嗦了 我们先看首页长什么...

48970
来自专栏数据之美

Chrome 自动化交互利器:用 tampermonkey 向页面注入自定义 Javascript

1、背景 经常会遇到类似下面的这种网站,查个信息得填一堆信息,奇葩的是文本框也不让复制粘贴,而且浏览器还不自动保存,这样每次查询或者超时退出都得重新手动填写一遍...

52070
来自专栏自动化测试实战

Appium+python (3) 元素定位(1)

46370
来自专栏Albert陈凯

2018-11-07 史上最全Vim快捷键键位图 -- 入门到进阶史上最全Vim快捷键键位图 -- 入门到进阶

本文所有键位图虽然都不是博主原创,但是所有资源均为博主亲自收集整理。如需全文转载,希望尊重原作者和博主的劳动成果,保留原文链接。 本文所有图片为了方便读者使用均...

8810
来自专栏hightopo

快速开发基于 HTML5 网络拓扑图应用1

31320
来自专栏大前端开发

微信小程序填坑-Android真机环境下的bluebird.js

今天,有朋友反映说,我的微信小程序的例子在andriod真机环境下运行出错,研究调试了半天,发现原来是使用的bluebird.js(Promise实现库)导致的...

8330
来自专栏CRPER折腾记

Vue 脱坑记 - 查漏补缺(汇总下群里高频询问的xxx及给出不靠谱的解决方案)

文章内容覆盖范围,芝麻绿豆的破问题都有,不止于vue; 给出的是方案,但不是手把手一字一句的给你说十万个为什么!

58730
来自专栏IMWeb前端团队

开源跨平台移动项目Ngui【Action动作系统】

Ngui简介 这是一个GUI的排版显示引擎和跨平台的GUI应用程序开发框架,基于NodeJS/OpenGL,这也是第一个在移动端Android/iOS融合Nod...

23650
来自专栏熊二哥

Vue快速入门

终于进入国内当前最火的前端框架Vue.js的学习了,最近周边的哥们也开始用该框架做线上项目,闲暇之余,做个快速的了解,重在基础部分。 ? 基础概念 目前在国...

47080
来自专栏移动开发之家

利用百度地图实现支付宝“到位”功能(地图模式)

算了,还是聊今天我们要说的,支付宝的“到位”功能。新版支付宝上方第四个tab,传闻丈母娘足不出户,同城招女婿的神兵利器。反正上面那些一块钱看看花、逛逛街、喝喝酒...

26110

扫码关注云+社区

领取腾讯云代金券