抓取表仅返回" tbody“，而不返回tbody的内容
抓取表仅返回" tbody“，而不返回tbody的内容
提问于 2019-06-03 06:10:32
我正在尝试从这个网站上的名为“燃料混合图”的表格中提取数据：https://www.iso-ne.com/isoexpress/我正在使用BeautifulSoup读取超文本标记语言并提取下面列出的表格，但当我尝试读取tbody的内容时，它将其输出为空。
下面是我的代码：
from bs4 import BeautifulSoup
from urllib.request import urlopen
pullPage = 'https://www.iso-ne.com/isoexpress/'
#query website and assign HTML to var page
page = urlopen(pullPage)
#parse HTML into var soup
soup = BeautifulSoup(page, 'html.parser')
#take <div> out of HTML name classifier and obtain value
fuelMix = soup.find('div', id='p_p_id_fuelmixgraphportlet_WAR_isoneportlet_INSTANCE_ZXnKx0ygssKj_')
fuelMixData = fuelMix.find('table', id = '_fuelmixgraphportlet_WAR_isoneportlet_INSTANCE_ZXnKx0ygssKj_table')
tbody = fuelMixData.find_all('tbody')
#for row in rows:
# data = row.find_all('td')
#FMData.append(str(row.find_all('tr')[0].text))
print (tbody)下面是HTML的相关部分：
<table id="_fuelmixgraphportlet_WAR_isoneportlet_INSTANCE_ZXnKx0ygssKj_table" align="left">
<thead>
<tr>
<th style="text-align:left;">Date/Time</th>
<th style="text-align:left;">Fuel</th>
<th>MW</th> </tr>
</thead>
<tbody>
<tr>
<td style="text-align:left;">06/02/2019 00:01</td>
<td style="text-align:left;">NaturalGas</td>
<td>2581</td>
</tr>
<tr>
<td style="text-align:left;">06/02/2019 00:01</td>
<td style="text-align:left;">Nuclear</td>
<td>3339</td>
</tr>
</tbody>
</table>现在，我期望的结果是简单地打印tbody中的所有数据。最后，我将读取'tr‘和'td’来创建数据数组(任何关于如何清理除日期/时间、燃料类型和值以外的其他字符串的想法也将不胜感激！)
当我运行当前代码时，它将只返回
[<tbody></tbody>]如果I find_all('tr')，它只返回标题中的值：
[<tr> <th style="text-align:left;">Date/Time</th> <th style="text-align:left;">Fuel</th> <th>MW</th> </tr>]如果I为find_all('td')，则返回一个空数组。
提前感谢您的帮助。
回答 1
Stack Overflow用户
发布于 2019-06-03 06:51:02
模仿页面的POST请求，您将获得json格式的所有信息
from bs4 import BeautifulSoup as bs
import requests
import time
params = {
'_nstmp_formDate' : int(time.time()),
'_nstmp_startDate' : '06/02/2019',
'_nstmp_endDate' : '06/02/2019',
'_nstmp_twodays' : 'false',
'_nstmp_chartTitle' : 'Fuel Mix Graph',
'_nstmp_requestType' : 'genfuelmix',
'_nstmp_fuelType' : 'all',
'_nstmp_height' : 250,
'_nstmp_showtwodays' : 'false'
}
r = requests.post('https://www.iso-ne.com/ws/wsclient', data = params).json()写入df，例如：
from bs4 import BeautifulSoup as bs
import requests
import time
import pandas as pd
params = {
'_nstmp_formDate' : int(time.time()),
'_nstmp_startDate' : '06/02/2019',
'_nstmp_endDate' : '06/02/2019',
'_nstmp_twodays' : 'false',
'_nstmp_chartTitle' : 'Fuel Mix Graph',
'_nstmp_requestType' : 'genfuelmix',
'_nstmp_fuelType' : 'all',
'_nstmp_height' : 250,
'_nstmp_showtwodays' : 'false'
}
r = requests.post('https://www.iso-ne.com/ws/wsclient', data = params).json()
result = []
headers = ['NaturalGas', 'Wind', 'Nuclear', 'Solar', 'Wood', 'Refuse', 'LandfillGas', 'BeginDateMs', 'Renewables', 'BeginDate', 'Hydro', 'Other']
for item in r[0]['data']:
row = {}
for header in headers:
row[header] = item.get(header, '')
result.append(row)
df = pd.DataFrame(result, columns = headers)
print(df.head())页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56419299
复制相关文章
相似问题