Python爬虫自学系列（二）

原创

看、未来

修改于 2021-02-01 18:12:37

5830

文章被收录于专栏：CSDN搜“看，未来”CSDN搜“看，未来”

前言

依旧是先唠嗑两句，过气博主又来找存在感了。

回顾一下往昔，过去我们讲了爬虫的简单操作，并封装了一个简单的，获取网页源数据的函数，还挺好用吧。

Python爬虫自学系列一

今天我们来从获取到的网页数据中抓取我们想要的数据。

（注：这一篇里面很多东西都已经是讲过的了，所以本篇基本上是链接了，也不会很长的）

HTML网页简单介绍

Xpath，永远滴神

XPath 是一种将 XML 文档的层次结构描述为关系的方式。因为 HTML 是由 XML 元素组成的，因此我们可以使用 XPath 从 HTML 文档中定位和选择元素。

如果你想了解更多 XPath 相关的知识，可以点击这边上面的蓝字。

至于beautifulsoup就不提啦。

别问我为什么不提，看下去就知道啦。

性能对比

你悟到了吗？

好，知识点都讲完了，比较中要的还是项目实战中的代码封装。

项目实战也有，爬取2021年腾讯校招

先看一下大概，然后回来我们捡一些功能出来封装一下函数。

从网页中获取数据

这个函数呢，直接将数据一波取走了，不过这个Xpath的使用呐，也不是那么容易的哦。

def get\_data(html\_data,Xpath\_path):

    '''

    这是一个从网页源数据中抓取所需数据的函数

    :param html\_data:网页源数据 (单条数据)

    :param Xpath\_path: Xpath寻址方法

    :return: 存储结果的列表

    '''

    

    data = html\_data.content

    data = data.decode().replace("<!--", "").replace("-->", "") #删除数据中的注释

    tree = etree.HTML(data) #创建element对象

    

    el\_list = tree.xpath(Xpath\_path)

    return el\_list

上面那个是一次性的，那可持续发展的呢？就比方说一个网页你要抓大于一个种类的数据，也就是说有多套的Xpath，那怎么办？

我这儿有两种方法啊：

1.将element对象用于中转，函数一分为二，看：

可持续发展方法一：

第一步，获取网址中的element对象并返回

#获取网址中的element对象

def get\_element(html\_data):

    data = html\_data.content

    data = data.decode().replace("<!--", "").replace("-->", "")

    tree = etree.HTML(data)

    return tree

第二步，从element对象中取值

def parser\_element\_data(Tree,Xpath):

    el\_list = Tree.xpath(Xpath)

    return el\_list

这方法啊，土了点，真要用起来啊，也不是很美观，冗余。

还是看方法二吧。

可持续发展方法二：

这个方法呢，就将所有Xpath作为一个列表传入，然后通过循环来取数据。

def get\_data\_2(html\_data,Xpath\_path\_list):

    '''

    通过多个Xpath对数据进行提取

    :param html\_data: 原始网页数据

    :param Xpath\_paths: Xpath寻址列表

    :return: 二维列表，一种寻址数据一个列表

    '''

    el\_data = []

    

    data = html\_data.content

    data = data.decode().replace("<!--", "").replace("-->", "")

    tree = etree.HTML(data)



    for Xpath\_path in Xpath\_path\_list:

        el\_list = tree.xpath(Xpath\_path)

        el\_data.append(el\_list)

        el\_list = []    #安全起见就自己清理了吧

    

    return el\_data

练习

这篇相对比较短，但是内容却不短。

有心的朋友可以找个网站练一下Xpath，比方说招聘网。

“爬虫百战穿山甲”小圈子

爬虫自学系列写了有三分之二了，大家是否有觉得自己学习爬虫过程中会遇到各种各样的问题？

我组织了一群朋友，都是身经百战的‘大佬’了，让我们一起在爬虫的路上披荆斩棘吧。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python

登录后参与评论

0 条评论

热度