python︱HTML网页解析BeautifulSoup学习笔记

一、载入html页面信息

一种是网站在线的网页、一种是下载下来的静态网页。

1、在线网页

参考《python用BeautifulSoup库简单爬虫入门+案例(爬取妹子图)》中的载入内容:

import requests
from bs4 import BeautifulSoup

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36','referer':"www.mmjpg.com" }
all_url = 'http://www.mmjpg.com/' 
    #'User-Agent':请求方式  
    #'referer':从哪个链接跳转进来的

start_html = requests.get(all_url,  headers=headers)
    #all_url:起始的地址,也就是访问的第一个页面
    #headers:请求头,告诉服务器是谁来了。
    #requests.get:一个方法能获取all_url的页面内容并且返回内容。

Soup = BeautifulSoup(start_html.text, 'lxml')
    #BeautifulSoup:解析页面
    #lxml:解析器
    #start_html.text:页面的内容

2、本地的静态页面

url = ...\...\...
soup = BeautifulSoup(open(url,'r',encoding = 'utf-8'))

encoding 编码这边需要提前确认,直接open本地的html静态html文件 .

二、界面结构简述

主要参考:Python爬虫利器二之Beautiful Soup的用法 Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

  • Tag
  • NavigableString
  • BeautifulSoup
  • Comment

以样本为例:

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

.

1、基本构成——Tag

就是 HTML 中的一个个标签

<title>The Dormouse's story</title>

以上整个叫做tag。通过标签名获得里面的内容的方式:

print soup.title
#<title>The Dormouse's story</title>

print soup.head
#<head><title>The Dormouse's story</title></head>

print soup.a
#<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>

print soup.p
#<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

其中title,head,p,a都是tag里面的标签名

两个重要的属性,是 name 和 attrs:

print soup.name
print soup.head.name
#[document]
#head

整个tag是一个document类型, 其中标签名可以通过这样的方式获得(再如:soup.a.name)

print soup.p.attrs
#{'class': ['title'], 'name': 'dromouse'}

p 标签的所有属性打印输出了出来,得到的类型是一个字典。 .

2、基本构成——NavigableString

标签内的文字,就是<title>The Dormouse's story</title>中的The Dormouse’s story

print soup.p.string
#The Dormouse's story

其中的文字相对来说就是标签的注释,利用 .string 来输出它的内容。其格式为:Comment 类型

if type(soup.a.string)==bs4.element.Comment:
    print soup.a.string

延伸:strings 实践

一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法 如果tag中包含多个字符串 ,可以使用 .strings 来循环获取

combine_html = """
 <p class="identical">
  Example of p tag with class identical
 </p>
 <div class="identical">
  Example of div tag with class identical
 <div>
 """

输出结果

list(combine_soup.strings)

['\n  Example of p tag with class identical\n ',
 '\n',
 '\n  Example of div tag with class identical\n ',
 '\n']

.

3、子节点——.contents .children

.contents,将tag的子节点以list列表的方式输出。 .children,返回的不是一个 list,是一个list生成器,

print soup.head.contents 
#[<title>The Dormouse's story</title>]
for child in  soup.body.children:
    print child
#<p class="title" name="dromouse"><b>The Dormouse's story</b></p>

4、子孙节点——.descendants

跟.children一样输出的是一个list生成器

for child in soup.descendants:
    print child
#<p class="title" name="dromouse">The Dormouse's story<b>The Dormouse's story</b></p>

可以看到与.children的区别,.descendants输出的内容比较多,不仅把.children的内容输出了 且加上了标签内的文字:The Dormouse’s storyThe Dormouse’s story .

5、父节点—— .parent

通过元素的 .parents 属性可以递归得到元素的所有父辈节点,例如

content = soup.head.title.string
for parent in  content.parents:
    print parent.name
#title
#head
#html
#[document]

.

6、兄弟节点—— .next_sibling .previous_sibling

print soup.p.next_sibling
#       实际该处为空白
print soup.p.prev_sibling
#None   没有前一个兄弟节点,返回 None
print soup.p.next_sibling.next_sibling
#<p class="story">Once upon a time there were three little sisters; and their names were
#<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>,
#<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
#<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
#and they lived at the bottom of a well.</p>
#下一个节点的下一个兄弟节点是我们可以看到的节点

.

7、前后节点——.next_element .previous_element

与 .next_sibling .previous_sibling 不同,它并不是针对于兄弟节点,而是在所有节点,不分层次

比如 head 节点为

<head><title>The Dormouse's story</title></head>

那么它的下一个节点便是 title,它是不分层次关系的

print soup.head.next_element
#<title>The Dormouse's story</title>

.

三、搜索文档树

主要参考:Python爬虫利器二之Beautiful Soup的用法

1、find_all( name , attrs , recursive , text , **kwargs )

搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件

(1)搜索节点

soup.find_all('b')
# [<b>The Dormouse's story</b>]

(2)正则表达——针对节点

import re
for tag in soup.find_all(re.compile("^b")):
    print(tag.name)
# body
# b

(3)传列表

soup.find_all(["a", "b"])
# [<b>The Dormouse's story</b>,
#  <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
#  <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

(4)传 True

相当于遍历节点有啥。

for tag in soup.find_all(True):
    print(tag.name)
# html
# head
# title
# body
# p
# b
# p
# a
# a

(5)搜索文档中的字符串内容

soup.find_all(text="Elsie")
# [u'Elsie']

soup.find_all(text=["Tillie", "Elsie", "Lacie"])
# [u'Elsie', u'Lacie', u'Tillie']

soup.find_all(text=re.compile("Dormouse"))
[u"The Dormouse's story", u"The Dormouse's story"]

(6)href 参数——针对标签注释

传入 href 参数,Beautiful Soup会搜索每个tag的”href”属性:

soup.find_all(href=re.compile("elsie"))
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

(7)recursive 参数

检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点

soup.html.find_all("title")
# [<title>The Dormouse's story</title>]

soup.html.find_all("title", recursive=False)
# []

(8)加快效率——limit 参数

soup.find_all("a", limit=2)
# [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
#  <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]

延伸一:find实践

有这么一段html源码

combine_html = """
 <p class="identical">
  Example of p tag with class identical
 </p>
 <div class="identical">
  Example of div tag with class identical
 <div>
 """
combine_soup = BeautifulSoup(combine_html,'lxml')

# 搜索
combine_soup .find("div",class_="identical")
combine_soup .select("div.identical")   

结果输出:

# 第一种输出
<div class="identical">
  Example of div tag with class identical
 <div>
</div></div>
# 第二种输出
[<div class="identical">
   Example of div tag with class identical
  <div>
 </div></div>]

.

2、其他 find

find_parents()  find_parent()

find_all() 和 find() 只搜索当前节点的所有子节点,孙子节点等. find_parents() 和 find_parent() 用来搜索当前节点的父辈节点,搜索方法与普通tag的搜索方法相同,搜索文档搜索文档包含的内容

find_next_siblings()  find_next_sibling()

这2个方法通过 .next_siblings 属性对当 tag 的所有后面解析的兄弟 tag 节点进行迭代, find_next_siblings() 方法返回所有符合条件的后面的兄弟节点,find_next_sibling() 只返回符合条件的后面的第一个tag节点

find_previous_siblings()  find_previous_sibling()

这2个方法通过 .previous_siblings 属性对当前 tag 的前面解析的兄弟 tag 节点进行迭代, find_previous_siblings() 方法返回所有符合条件的前面的兄弟节点, find_previous_sibling() 方法返回第一个符合条件的前面的兄弟节点 .

3、select——CSS选择器

(1)通过标签名查找

案例一
print soup.select('title') 
#[<title>The Dormouse's story</title>]
# 案例二
print soup.select('a')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
# 案例三
print soup.select('b')
#[<b>The Dormouse's story</b>]

(2)通过类名查找

print soup.select('.sister')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

(3)id查找

print soup.select('#link1')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

(4)属性查找

查找时还可以加入属性元素,属性需要用中括号括起来,注意属性和标签属于同一节点,所以中间不能加空格,否则会无法匹配到。

print soup.select('a[class="sister"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
print soup.select('p a[href="http://example.com/elsie"]')
#[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]

.

主要参考:

Beautiful Soup 4.4.0 文档 Python爬虫利器二之Beautiful Soup的用法

延伸一:实践

#  读入内容
contents = BeautifulSoup(open(url,'r',encoding = 'utf-8')).find_all("div",class_="caption col-md-12") 

#1.re库用正则,提取标签中的html
内容:<a target="001" class="002" href="../..//003.html">
    re.findall(r'\"(.*html)\"',str(  content  )) 

#2.re库正则,在.find_all中使用
内容:<a target="001" class="002" href="../..//003.html">
re.findall(r'\"(.*html)\"',str(content.find_all("a",class_="002")[0])) 

#3.提取标签下的文本内容
内容:content = <h4><a href="../../../img/56b311675fe3329a703cf9de.html">独钓图
可以看到该内容前面有两个<>标签,可以直接:
content.find_all('a').strings[0]

#4.相同标签,有类别属性
内容: <span class="a">text1
        <span class="b">text2
以上有两个span相同的标签,可以通过class来辅助定位、查找:
content.find_all('span',class_='pull-right').strings  # 即为文本内容

#5.相同标签,无类别属性
内容: <span >text1
        <span >text2

content.find_all('span').contents[0].strings
先生成一个列表,然后选中,再得到下面的文本材料

# 6.奇怪的副标题
内容: <td width="285" valign="top">1764-1815</td>
content.find_all('td',width="285", valign="top")

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员的SOD蜜

在C++中反射调用.NET(二) 定义数据接口 绑定委托方法 使用SOD DTO 对象 将.NET对象转换到C++结构体为何不使用序列化的问题

反射调用返回复杂对象的.NET方法 定义数据接口 上一篇在C++中反射调用.NET(一)中,我们简单的介绍了如何使用C++/CLI并且初步使用了反射调用.NET...

2027
来自专栏MasiMaro 的技术博文

PE文件详解(六)

这篇文章转载自小甲鱼的PE文件详解系列原文传送门 之前简单提了一下节表和数据目录表,那么他们有什么区别? 其实这些东西都是人为规定的,一个数据在文件中或...

792
来自专栏拭心的安卓进阶之路

JavaScript 的闭包用于什么场景

本文翻译自 MDN ( Mozilla Developer Network ): 原文地址:MDN 译文地址:shixinzhang 的博客 词法作用域 考虑如...

1968
来自专栏Python

二、爬虫基础库

request模块 安装 1 pip install requests 简单使用   import requests respo...

2269
来自专栏PingCAP的专栏

十分钟成为 Contributor 系列 | 为 TiDB 重构 built-in 函数

为了加速表达式计算速度,最近我们对表达式的计算框架进行了重构,这篇教程为大家分享如何利用新的计算框架为 TiDB 重写或新增 built-in 函数。

1150
来自专栏Java Edge

Thymeleaf模板常用知识点thymeleaf介绍标准表达式语法常用th标签设置属性值Thymeleaf迭代循环

52310
来自专栏Android Note

介绍Kotlin第二部分(翻译篇)

1254
来自专栏个人随笔

论 Java 的访问权限

Java中成员访问权限 Java中的访问权限控制符有四个: 作用域_____当前类____同一package___子孙类____其他package publi...

3488
来自专栏Android开发经验

es6中箭头函数学习的一个记录

1074
来自专栏Java Web

Java 面试知识点解析(四)——版本特性篇(2)

在遨游了一番 Java Web 的世界之后,发现了自己的一些缺失,所以就着一篇深度好文:知名互联网公司校招 Java 开发岗面试知识点解析 ,来好好的对 Jav...

3498

扫码关注云+社区