从HTML表中提取数据
从HTML表中提取数据
提问于 2012-08-03 14:38:49
我正在寻找一种在linux shell环境中从HTML中获取某些信息的方法。
这是我感兴趣的一点：
<table class="details" border="0" cellpadding="5" cellspacing="2" width="95%">
<tr valign="top">
<th>Tests</th>
<th>Failures</th>
<th>Success Rate</th>
<th>Average Time</th>
<th>Min Time</th>
<th>Max Time</th>
</tr>
<tr valign="top" class="Failure">
<td>103</td>
<td>24</td>
<td>76.70%</td>
<td>71 ms</td>
<td>0 ms</td>
<td>829 ms</td>
</tr>
</table>我希望将这些变量存储在shell变量中，或者回显从上面的html中提取的键值对。示例：
Tests : 103
Failures : 24
Success Rate : 76.70 %
and so on..目前我能做的就是创建一个java程序，它将使用sax解析器或html解析器来提取这些信息。
但是在这里使用java似乎需要在你想要执行的"wrapper“脚本中包含可运行的jar。
我相信一定有"shell“语言可以做同样的事情，比如perl、python、bash等等。
我的问题是我没有这些经验，有人能帮我解决这个“相当容易”的问题吗？
快速更新：
我忘了提一下，我在.html文档中有更多的表和更多的行，很抱歉(一大早)。
更新#2:
我尝试这样安装Bsoup，因为我没有root访问权限：
$ wget http://www.crummy.com/software/BeautifulSoup/bs4/download/4.0/beautifulsoup4-4.1.0.tar.gz
$ tar -zxvf beautifulsoup4-4.1.0.tar.gz
$ cp -r beautifulsoup4-4.1.0/bs4 .
$ vi htmlParse.py # (paste code from ) Tichodromas' answer, just in case this (http://pastebin.com/4Je11Y9q) is what I pasted
$ run file (python htmlParse.py)错误：
$ python htmlParse.py
Traceback (most recent call last):
File "htmlParse.py", line 1, in ?
from bs4 import BeautifulSoup
File "/home/gdd/setup/py/bs4/__init__.py", line 29
from .builder import builder_registry
^
SyntaxError: invalid syntax更新#3 :
运行Tichodroma的答案会得到这个错误：
Traceback (most recent call last):
File "test.py", line 27, in ?
headings = [th.get_text() for th in table.find("tr").find_all("th")]
TypeError: 'NoneType' object is not callable有什么想法吗？
回答 7
Stack Overflow用户
回答已采纳
发布于 2012-08-03 15:15:55
一个使用BeautifulSoup4的解决方案( Python编辑:带有适当跳过的。Edit3:使用class="details"选择table)：
from bs4 import BeautifulSoup
html = """
<table class="details" border="0" cellpadding="5" cellspacing="2" width="95%">
<tr valign="top">
<th>Tests</th>
<th>Failures</th>
<th>Success Rate</th>
<th>Average Time</th>
<th>Min Time</th>
<th>Max Time</th>
</tr>
<tr valign="top" class="Failure">
<td>103</td>
<td>24</td>
<td>76.70%</td>
<td>71 ms</td>
<td>0 ms</td>
<td>829 ms</td>
</tr>
</table>"""
soup = BeautifulSoup(html)
table = soup.find("table", attrs={"class":"details"})
# The first tr contains the field names.
headings = [th.get_text() for th in table.find("tr").find_all("th")]
datasets = []
for row in table.find_all("tr")[1:]:
dataset = zip(headings, (td.get_text() for td in row.find_all("td")))
datasets.append(dataset)
print datasets结果如下所示：
[[(u'Tests', u'103'),
(u'Failures', u'24'),
(u'Success Rate', u'76.70%'),
(u'Average Time', u'71 ms'),
(u'Min Time', u'0 ms'),
(u'Max Time', u'829 ms')]]Edit2:要生成所需的输出，请使用如下代码：
for dataset in datasets:
for field in dataset:
print "{0:<16}: {1}".format(field[0], field[1])结果：
Tests : 103
Failures : 24
Success Rate : 76.70%
Average Time : 71 ms
Min Time : 0 ms
Max Time : 829 msStack Overflow用户
发布于 2019-10-04 02:02:09
import pandas as pd
html_tables = pd.read_html('resources/test.html')
df = html_tables[0]
df.T # transpose to align
0
Tests 103
Failures 24
Success Rate 76.70%
Average Time 71 msStack Overflow用户
发布于 2017-05-31 12:07:56
这是最好的答案，适应了Python3兼容性，并通过剥离单元格中的空格进行了改进：
from bs4 import BeautifulSoup
html = """
<table class="details" border="0" cellpadding="5" cellspacing="2" width="95%">
<tr valign="top">
<th>Tests</th>
<th>Failures</th>
<th>Success Rate</th>
<th>Average Time</th>
<th>Min Time</th>
<th>Max Time</th>
</tr>
<tr valign="top" class="Failure">
<td>103</td>
<td>24</td>
<td>76.70%</td>
<td>71 ms</td>
<td>0 ms</td>
<td>829 ms</td>
</tr>
</table>"""
soup = BeautifulSoup(s, 'html.parser')
table = soup.find("table")
# The first tr contains the field names.
headings = [th.get_text().strip() for th in table.find("tr").find_all("th")]
print(headings)
datasets = []
for row in table.find_all("tr")[1:]:
dataset = dict(zip(headings, (td.get_text() for td in row.find_all("td"))))
datasets.append(dataset)
print(datasets)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/11790535
复制相关文章
相似问题
腾讯云开发者
