在BeautifulSoup中，只从表(td)中提取特定的行和列
在BeautifulSoup中，只从表(td)中提取特定的行和列
提问于 2016-03-03 02:21:03
我想从网站上抓取数据，并将其写入CSV。示例代码包含“列名”和“值”。
<div class="table-responsive">
<table class="table table-bordered table-hover">
<tbody>
<!-- required First 3 column names-->
<tr>
<td></td>
<td align="center" style="vertical-align:middle;" title=" Number">Number</td>
<td align="center" style="vertical-align:middle;" colspan="2" title=" Code ">CODE</td>
<td align="center" style="vertical-align:middle;">Name</td>
<td align="center" style="vertical-align:middle;" title="Category ">Category</td>
<td align="center" style="vertical-align:middle;" title="Variation ">Variation</td>
</tr>
<!-- required -->
<tr class="success">
<td align="center" style="vertical-align:middle;"></td>
<td align="center" style="vertical-align:middle;"><a href="/Number/3259">3259</a>
</td>
<td style="width:125px;height:60px;vertical-align:middle;" <a href="/CODE/ABC123">ABC123</a>
</td>
<td align="center" style="vertical-align:middle;"><a title="CODE ABC123" href="/CODE/ABC123">LAND </a>
</td>
<td align="center" style="vertical-align:middle;" class="success">3 - Design Reference</td>
<td align="center" style="vertical-align:middle;" class="success">2 - Production Item</td>
</tr>
<!-- not-required -->
<tr>
<td colspan="7">
<div id="BMCRL_36" class="collapse">
<div class="list-group">
<a class="list-group-item">
<h4 class="list-group-item-heading"> Number 3259 - Reference Number ABC123</h4>
<p class="list-group-item-text"></p>
</a>
<a class="list-group-item">
<h4 class="list-group-item-heading">CODE ABC123 </h4>
<p class="list-group-item-text"></p>
</a>
</div>
</div>
</td>
</tr>
<!-- required -->
<tr class="">
<td align="center" style="vertical-align:middle;"></td>
<td align="center" style="vertical-align:middle;"><a href="/Number/3260">3260</a>
</td>
<td style="width:125px;height:60px;vertical-align:middle;" <a href="/CODE/XYZ453">XYZ453</a>
</td>
<td align="center" style="vertical-align:middle;"><a title="CODE XYZ453" href="/CODE/XYZ453">WATER </a>
</td>
<td align="center" style="vertical-align:middle;" class="success">3 Control Reference</td>
<td align="center" style="vertical-align:middle;" class="success">2 Item</td>
</tr>
</tbody>
</table>
</div>输出应如下所示
当我使用这个时，
- 列名来自第一个'td'标记
from bs4 import BeautifulSoup soup =BeautifulSoup(bs4(‘code.html’)，'lxml') BeautifulSoup= soup.find('tr').find_all('td') for c in col: print(c.get_text())
所有列都会打印出来。相反，我只需要
['Number', 'Code', 'Name']
- I不需要包含"colspan“(第三个tr)的'tr'，
- 还删除了最后两个列值，
tr =tr中t的soup.findChildren('tr')：td中的td= t.findChildren('td') td中的子项: print(child.text)
再一次，我得到了包括列和值在内的所有数据，我期望是
'3259'，'ABC123'，'LAND‘和'3260'，'XYZ453'，'WATER’
通过删除
['3 - Design Reference','2 - Production Item']
回答 2
Stack Overflow用户
回答已采纳
发布于 2016-03-03 02:33:20
对find_all()的结果进行切片，以仅获得相关的列和单元格。为了只获取相关行，请检查是否存在class属性。
工作示例：
import requests
from bs4 import BeautifulSoup
data = """
your HTML here
"""
soup = BeautifulSoup(data, "lxml")
headers = [c.get_text() for c in soup.find('tr').find_all('td')[1:4]]
data = [[cell.get_text(strip=True) for cell in row.find_all('td')[1:4]]
for row in soup.find_all("tr", class_=True)]
print(headers)
print(data)打印：
['Number', 'CODE', 'Name']
[['3259', 'ABC123', 'LAND'], ['3260', 'XYZ453', 'WATER']]Stack Overflow用户
发布于 2018-10-18 06:43:30
根据Alecxe的有用答案，为了更具可读性和Pythonic风格的方法，可以使用列表理解来排除特定的BS4结果(包括那些不符合设定标准的结果)。下面是一个示例：
rows = [ row for row in soup.findAll('tr') if 'adsbygoogle' not in row.text ]这将创建一个新的行列表，其中只包含所需的元素。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/35755153
复制相关文章
相似问题