专栏首页desperate633Python爬虫之BeautifulSoup库的入门与使用Beautiful Soup库的理解Beautiful Soup库的引用BeautifulSoup类的基本元素BeautifulSoup解析实

Python爬虫之BeautifulSoup库的入门与使用Beautiful Soup库的理解Beautiful Soup库的引用BeautifulSoup类的基本元素BeautifulSoup解析实

上篇文章中,Python爬虫之requests库网络爬取简单实战 我们学习了如何利用requets库快速获取页面的源代码信息。我们在具体的爬虫实践的时候,第一步就是获取到页面的源代码,但是仅仅是获取源代码是不够的,我们还需要从页面的源代码中提取出我们所需要的那一部分的信息。所以,爬虫的难点就在于对源代码的信息的提取与处理。 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

具体的BeautifulSoup的安装与介绍比较简单,我们可以参考https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id17

Beautiful Soup库的理解

简单的说,BeautifulSoup库可以将一个html文档转换成一个BeautifulSoup类,然后我们就可以使用BeautifulSoup的各种方法提取出我们所需要的元素

Beautiful Soup库是解析、遍历、维护“标签树”的功能库

要理解与使用BeautifulSoup库我们就需要对html文档有了解

image.png

Beautiful Soup库的引用

Beautiful Soup库,也叫beautifulsoup4 或 bs4 约定引用方式如下,即主要是用BeautifulSoup类

from bs4 import BeautifulSoup
import bs4

image.png

BeautifulSoup对应一个HTML/XML文档的全部内容

Beautiful Soup库解析器

soup = BeautifulSoup('<html>data</html>','html.parser')

image.png

BeautifulSoup类的基本元素

image.png

BeautifulSoup解析实例

我们先用requests库获取一个简单的页面 http://python123.io/ws/demo.html

image.png

import requests

r = requests.get("http://python123.io/ws/demo.html")

demo = r.text

print(demo)

image.png

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(demo, 'html.parser')
>>> soup.prettify()

我们可以利用BeautifulSoup库对页面进行解析和提取

Tag 标签

image.png

>>> soup.title
<title>This is a python demo page</title>
>>> tag = soup.a
>>> tag
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>

任何存在于HTML语法中的标签都可以用soup.<tag>访问获得 当HTML文档中存在多个相同<tag>对应内容时,soup.<tag>返回第一个

Tag的name(名字)

image.png

>>> soup.a.name
'a'
>>> soup.a.parent.name
'p'
>>> 

每个<tag>都有自己的名字,通过<tag>.name获取,字符串类型

Tag的attrs(属性)

image.png

Tag的NavigableString

image.png

image.png

Tag的Comment

image.png

image.png

基于bs4库的HTML内容遍历方法

image.png

image.png

标签树的下行遍历

image.png

BeautifulSoup类型是标签树的根节点

标签树的下行遍历

image.png

image.png

标签树的上行遍历

image.png

image.png

image.png

标签树的平行遍历

image.png

image.png

image.png

image.png

image.png

小结

image.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 计算机网络的性能衡量指标速率带宽延迟/时延(delay或latency)时延带宽积分组丢失(丢包)吞吐量/率(Throughput)

    这是最常见的一个性能指标 “带宽” (bandwidth)原本指信号具有的频带宽度,即最高频率与最低频率之差,单位是赫兹(Hz) 网络的“带宽”通常是数字信...

    desperate633
  • 计算机网络之数据交换(电路交换,报文交换,分组交换)电路交换报文交换分组交换分组交换与电路交换

    就要经过网络核心进行数据交换,数据不断从一个网络交换到另一个网络,直到到达目的主机。所以网络核心解决的基本问题就是数据交换。

    desperate633
  • 小白也能看懂的BP反向传播算法之Further into Backpropagation

    在上一篇文章小白也能看懂的BP反向传播算法之Let's practice Backpropagation,我们计算了一个带sigmoid函数的嵌套网络的反向传播...

    desperate633
  • day64-Django进阶-模板语言{%for%}{%csrf_token%}+模板继承{%extends%}

    少年包青菜
  • 02.开发环境搭建

    ![Uploading image_749185.png . . .]python,是一种面向对象,解释型的计算机程序设计语言【废话】

    大牧莫邪
  • 基于CentOS搭建微信小程序--响应错误502

    在腾讯云开发者实验室的搭建微信小程序中  ,遇到了在完成实验二会话部署失败后,实验一http访问测试也显示失败并且表示响应错误-错误码:502。(域名是可以正常...

    可别是只猪
  • Unity基础(5)-资源管理知识(2)

    今天我们使用系统自带的资源包,做点小东西。还有前期学习的过程中不要刨根问底。应该多操作才是最佳的学习方式。而且学的东西足够多,就发现一些开始遇到的问题就是小儿科...

    雷潮
  • 点播--获取播放统计数据文件下载地址

    https://cloud.tencent.com/document/product/266/12624

    Mr.Du
  • 金融行业实战项目:如何理解业务?

    下表是某金融App的数据,请结合Excel数据集中的数据完成下列问题(某金融公司面试题,文末有数据下载 )

    猴子数据分析
  • linux 系统安全 步骤

    服务器安全运维 网络安全运维 数据安全运维 1、账号安全 删除特殊的用户和组:adm,lp,sync,shutdown,halt,news,uucp,o...

    用户5760343

扫码关注云+社区

领取腾讯云代金券