python︱HTML网页解析BeautifulSoup学习笔记

一、载入html页面信息

一种是网站在线的网页、一种是下载下来的静态网页。

1、在线网页

参考《python用BeautifulSoup库简单爬虫入门+案例(爬取妹子图)》中的载入内容:

import requests
from bs4 import BeautifulSoup

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36','referer':"www.mmjpg.com" }
all_url = 'http://www.mmjpg.com/' 
    #'User-Agent':请求方式  
    #'referer':从哪个链接跳转进来的

start_html = requests.get(all_url,  headers=headers)
    #all_url:起始的地址,也就是访问的第一个页面
    #headers:请求头,告诉服务器是谁来了。
    #requests.get:一个方法能获取all_url的页面内容并且返回内容。

Soup = BeautifulSoup(start_html.text, 'lxml')
    #BeautifulSoup:解析页面
    #lxml:解析器
    #start_html.text:页面的内容

2、本地的静态页面

url = ...\...\...
soup = BeautifulSoup(open(url,'r',encoding = 'utf-8'))

encoding 编码这边需要提前确认,直接open本地的html静态html文件 .

二、界面结构简述

主要参考:Python爬虫利器二之Beautiful Soup的用法 Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

  • Tag
  • NavigableString
  • BeautifulSoup
  • Comment

以样本为例:

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

.

1、基本构成——Tag

就是 HTML 中的一个个标签

<title>The Dormouse's story</title>

以上整个叫做tag。通过标签名获得里面的内容的方式:

print soup.title
#<title>The Dormouse's story</title>

print soup.head
#<head><title>The Dormouse's story</title></head>

print soup.a
#<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>

print soup.p
#<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

其中title,head,p,a都是tag里面的标签名

两个重要的属性,是 name 和 attrs:

print soup.name
print soup.head.name
#[document]
#head

整个tag是一个document类型, 其中标签名可以通过这样的方式获得(再如:soup.a.name)

print soup.p.attrs
#{'class': ['title'], 'name': 'dromouse'}

p 标签的所有属性打印输出了出来,得到的类型是一个字典。 .

2、基本构成——NavigableString

标签内的文字,就是<title>The Dormouse's story</title>中的The Dormouse’s story

print soup.p.string
#The Dormouse's story

其中的文字相对来说就是标签的注释,利用 .string 来输出它的内容。其格式为:Comment 类型

if type(soup.a.string)==bs4.element.Comment:
    print soup.a.string

延伸:strings 实践

一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法 如果tag中包含多个字符串 ,可以使用 .strings 来循环获取

combine_html = """
 <p class="identical">
  Example of p tag with class identical
 </p>
 <div class="identical">
  Example of div tag with class identical
 <div>
 """

输出结果

list(combine_soup.strings)

['\n  Example of p tag with class identical\n ',
 '\n',
 '\n  Example of div tag with class identical\n ',
 '\n']

.

3、子节点——.contents .children

.contents,将tag的子节点以list列表的方式输出。 .children,返回的不是一个 list,是一个list生成器,

print soup.head.contents 
#[<title>The Dormouse's story</title>]
for child in  soup.body.children:
    print child
#<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

4、子孙节点——.descendants

跟.children一样输出的是一个list生成器

for child in soup.descendants:
    print child
#<p class="title" name="dromouse">The Dormouse's story<b>The Dormouse's story</b></p>

可以看到与.children的区别,.descendants输出的内容比较多,不仅把.children的内容输出了 且加上了标签内的文字:The Dormouse’s storyThe Dormouse’s story .

5、父节点—— .parent

通过元素的 .parents 属性可以递归得到元素的所有父辈节点,例如

content = soup.head.title.string
for parent in  content.parents:
    print parent.name
#title
#head
#html
#[document]

.

6、兄弟节点—— .next_sibling .previous_sibling

print soup.p.next_sibling
#       实际该处为空白
print soup.p.prev_sibling
#None   没有前一个兄弟节点,返回 None
print soup.p.next_sibling.next_sibling
#<p class="story">Once upon a time there were three little sisters; and their names were
#<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,
#<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
#<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
#and they lived at the bottom of a well.</p>
#下一个节点的下一个兄弟节点是我们可以看到的节点

.

7、前后节点——.next_element .previous_element

与 .next_sibling .previous_sibling 不同,它并不是针对于兄弟节点,而是在所有节点,不分层次

比如 head 节点为

<head><title>The Dormouse's story</title></head>

那么它的下一个节点便是 title,它是不分层次关系的

print soup.head.next_element
#<title>The Dormouse's story</title>

.

三、搜索文档树

主要参考:Python爬虫利器二之Beautiful Soup的用法

1、find_all( name , attrs , recursive , text , **kwargs )

搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

(1)搜索节点

soup.find_all('b')
# [<b>The Dormouse's story</b>]

(2)正则表达——针对节点

import re
for tag in soup.find_all(re.compile("^b")):
    print(tag.name)
# body
# b

(3)传列表

soup.find_all(["a", "b"])
# [<b>The Dormouse's story</b>,
#  <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

(4)传 True

相当于遍历节点有啥。

for tag in soup.find_all(True):
    print(tag.name)
# html
# head
# title
# body
# p
# b
# p
# a
# a

(5)搜索文档中的字符串内容

soup.find_all(text="Elsie")
# [u'Elsie']

soup.find_all(text=["Tillie", "Elsie", "Lacie"])
# [u'Elsie', u'Lacie', u'Tillie']

soup.find_all(text=re.compile("Dormouse"))
[u"The Dormouse's story", u"The Dormouse's story"]

(6)href 参数——针对标签注释

传入 href 参数,Beautiful Soup会搜索每个tag的”href”属性:

soup.find_all(href=re.compile("elsie"))
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

(7)recursive 参数

检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点

soup.html.find_all("title")
# [<title>The Dormouse's story</title>]

soup.html.find_all("title", recursive=False)
# []

(8)加快效率——limit 参数

soup.find_all("a", limit=2)
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

延伸一:find实践

有这么一段html源码

combine_html = """
 <p class="identical">
  Example of p tag with class identical
 </p>
 <div class="identical">
  Example of div tag with class identical
 <div>
 """
combine_soup = BeautifulSoup(combine_html,'lxml')

# 搜索
combine_soup .find("div",class_="identical")
combine_soup .select("div.identical")   

结果输出:

# 第一种输出
<div class="identical">
  Example of div tag with class identical
 <div>
</div></div>
# 第二种输出
[<div class="identical">
   Example of div tag with class identical
  <div>
 </div></div>]

.

2、其他 find

find_parents()  find_parent()

find_all() 和 find() 只搜索当前节点的所有子节点,孙子节点等. find_parents() 和 find_parent() 用来搜索当前节点的父辈节点,搜索方法与普通tag的搜索方法相同,搜索文档搜索文档包含的内容

find_next_siblings()  find_next_sibling()

这2个方法通过 .next_siblings 属性对当 tag 的所有后面解析的兄弟 tag 节点进行迭代, find_next_siblings() 方法返回所有符合条件的后面的兄弟节点,find_next_sibling() 只返回符合条件的后面的第一个tag节点

find_previous_siblings()  find_previous_sibling()

这2个方法通过 .previous_siblings 属性对当前 tag 的前面解析的兄弟 tag 节点进行迭代, find_previous_siblings() 方法返回所有符合条件的前面的兄弟节点, find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点 .

3、select——CSS选择器

(1)通过标签名查找

案例一
print soup.select('title') 
#[<title>The Dormouse's story</title>]
# 案例二
print soup.select('a')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
# 案例三
print soup.select('b')
#[<b>The Dormouse's story</b>]

(2)通过类名查找

print soup.select('.sister')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

(3)id查找

print soup.select('#link1')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

(4)属性查找

查找时还可以加入属性元素,属性需要用中括号括起来,注意属性和标签属于同一节点,所以中间不能加空格,否则会无法匹配到。

print soup.select('a[class="sister"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
print soup.select('p a[href="http://example.com/elsie"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

.

主要参考:

Beautiful Soup 4.4.0 文档 Python爬虫利器二之Beautiful Soup的用法

延伸一:实践

#  读入内容
contents = BeautifulSoup(open(url,'r',encoding = 'utf-8')).find_all("div",class_="caption col-md-12") 

#1.re库用正则,提取标签中的html
内容:<a target="001" class="002" href="../..//003.html">
    re.findall(r'\"(.*html)\"',str(  content  )) 

#2.re库正则,在.find_all中使用
内容:<a target="001" class="002" href="../..//003.html">
re.findall(r'\"(.*html)\"',str(content.find_all("a",class_="002")[0])) 

#3.提取标签下的文本内容
内容:content = <h4><a href="../../../img/56b311675fe3329a703cf9de.html">独钓图
可以看到该内容前面有两个<>标签,可以直接:
content.find_all('a').strings[0]

#4.相同标签,有类别属性
内容: <span class="a">text1
        <span class="b">text2
以上有两个span相同的标签,可以通过class来辅助定位、查找:
content.find_all('span',class_='pull-right').strings  # 即为文本内容

#5.相同标签,无类别属性
内容: <span >text1
        <span >text2

content.find_all('span').contents[0].strings
先生成一个列表,然后选中,再得到下面的文本材料

# 6.奇怪的副标题
内容: <td width="285" valign="top">1764-1815</td>
content.find_all('td',width="285", valign="top")

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏云时之间

深度学习与神经网络:基于自建手写字体数据集上的模型测试

在上一篇文章中,我们使用mnist数据集去做了一个识别的小型神经网络,在今天的这篇文章里,我们将要通过使用自建数据集去检验上一篇文章的模型,从而真正的可以去应用...

4747
来自专栏数据派THU

手把手教你由TensorFlow上手PyTorch(附代码)

来源:机器之心 作者:Illarion Khlestov 本文为你解读PyTorch 的易用性。 当我第一次尝试学习 PyTorch 时,没几天就放弃了。和 ...

5754
来自专栏IT派

干货 | PyTorch相比TensorFlow,存在哪些自身优势?

1、 PyTorch 课替代NumPy 使用:PyTorch 本身主要构件是张量——和 NumPy 看起来差不多。使得 PyTorch 可支持大量相同的 API...

7964
来自专栏深度学习之tensorflow实战篇

r语言ggplot2包学习笔记(上代码+注释)

#ggplot2学习笔记##第一节:尝试ggplot library(ggplot2) #使用的是R内置数据(mpg) qplot(displ,hwy,data...

2265
来自专栏PPV课数据科学社区

强大的PyTorch:10分钟让你了解深度学习领域新流行的框架

摘要: 今年一月份开源的PyTorch,因为它强大的功能,它现在已经成为深度学习领域新流行框架,它的强大源于它内部有很多内置的库。本文就着重介绍了其中几种有特色...

3569
来自专栏应兆康的专栏

OpenCV+TensorFlow 人工智能图像处理 (1)

OpenCV是一个开源的计算机视觉库,OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和M...

1972
来自专栏木子昭的博客

白话版 动态规划法

关于动态规划法的解释, 大多都是基于背包问题的, 但背包问题背负了很多算法的解释工作,经常让初学者混淆,刚刚刷leetcode的时候,发现了一个很不错的关于动...

35311
来自专栏mathor

matlab—进阶绘图

这里我们要讲的是画一些与对数(log)有关的图像,这里的log,既可以是图像是log,又可以是坐标轴是log,我们接下来用一个例子来说明

973
来自专栏北京马哥教育

隐马尔科夫模型 python 实现简单拼音输入法

在网上看到一篇关于隐马尔科夫模型的介绍,觉得简直不能再神奇,又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客(http://sobuhu....

3667
来自专栏章鱼的慢慢技术路

Direct3D 11 Tutorial 5: 3D Transformation_Direct3D 11 教程5:3D转型

在上一个教程中,我们从模型空间到屏幕渲染了一个立方体。 在本教程中,我们将扩展转换的概念并演示可以通过这些转换实现的简单动画。

584

扫码关注云+社区