在Beautifulsoup中按部分文本搜索

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的 Python 库。它创建了一个解析树，从中你可以提取和操作数据。按部分文本搜索是 BeautifulSoup 中的一个常见需求，通常用于网页抓取和数据提取。

基础概念

BeautifulSoup 提供了多种方法来搜索文档中的标签，其中 find_all() 和 find() 方法是最常用的。这两个方法都可以接受一个字符串参数来搜索文档中的部分文本。

类型

按标签名搜索：例如 soup.find_all('a') 会找到所有的 <a> 标签。
按属性搜索：例如 soup.find_all(id='link2') 会找到所有 id 属性为 'link2' 的标签。
按文本内容搜索：例如 soup.find_all(text='Elsie') 会找到所有包含文本 'Elsie' 的标签。

应用场景

网页抓取：从网页中提取特定信息，如文章标题、链接等。
数据清洗：处理和清洗从网页中抓取的数据。
自动化测试：检查网页内容是否符合预期。

示例代码

以下是一个简单的示例，展示如何使用 BeautifulSoup 按部分文本搜索：

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

soup = BeautifulSoup(html_doc, 'html.parser')

# 按部分文本搜索
links = soup.find_all(text=lambda x: 'sister' in x)
for link in links:
    print(link)