在动态HTML网站上使用Beautiful Soup进行web抓取的问题
在动态HTML网站上使用Beautiful Soup进行web抓取的问题
提问于 2018-07-19 12:09:08
我正在尝试使用Beautiful Soup抓取一系列HTML文件，但是我得到了一些非常奇怪的结果，我认为这是因为查询是动态的，而我对web抓取并不是很有经验。如果你看一下这个网站，在这种情况下，我想做的就是获得工作类型的所有信息，但我的结果与我想要的相去甚远。请看下面的代码(感谢所有人)：
import requests
from bs4 import BeautifulSoup
url = 'https://www.acc.co.nz/for-providers/treatment-recovery/work-type-detail-sheets/#/viewSheet/1416'
r = requests.get(url)
html_doc = r.text
soup = BeautifulSoup(html_doc)
pretty_soup = soup.prettify()
print(pretty_soup) 谢谢你帮了我的忙。我想我分享了下面的代码，注意我使用了很多来自另一个帖子Strip HTML from strings in Python的引用。没有@Andrej Kesely是不可能的
url = "https://www.acc.co.nz/for-providers/treatment-recovery/work-type-detail-sheets/getSheets"
import requests
import json
from pandas.io.json import json_normalize
headers = {'X-Requested-With': 'XMLHttpRequest'}
r = requests.get(url, headers=headers)
data = json.loads(r.text)
result = json_normalize(data)
result = result[['ANZSCO','Comments','Description','Group',
'EntryRequirements','JobTitle','PhysicalMentalDemands',
'WorkEnvironment','WorkTasks']]
##Lets start cleaning up the data set
from html.parser import HTMLParser
class MLStripper(HTMLParser):
def __init__(self):
self.reset()
self.strict = False
self.convert_charrefs= True
self.fed = []
def handle_data(self, d):
self.fed.append(d)
def get_data(self):
return ''.join(self.fed)
def strip_tags(html):
s = MLStripper()
s.feed(html)
return s.get_data()
list = ['WorkTasks', 'PhysicalMentalDemands','WorkTasks','Description']
for i in list:
result[i] = result[i].apply(lambda x: strip_tags(x))
list2 = ['Comments','EntryRequirements','WorkEnvironment']
for i in list2:
result[i] = result[i].fillna('not_available')
result[i] = result[i].apply(lambda x: strip_tags(x))回答 1
Stack Overflow用户
回答已采纳
发布于 2018-07-19 14:26:42
页面是通过Ajax动态加载的。查看网络检查器，页面从位于https://www.acc.co.nz/for-providers/treatment-recovery/work-type-detail-sheets/getSheets的非常大的JSON文件加载所有数据。要加载所有作业数据，可以使用以下脚本：
url = "https://www.acc.co.nz/for-providers/treatment-recovery/work-type-detail-sheets/getSheets"
import requests
import json
headers = {'X-Requested-With': 'XMLHttpRequest'}
r = requests.get(url, headers=headers)
data = json.loads(r.text)
# For printing all data in pretty form uncoment this line:
# print(json.dumps(data, indent=4, sort_keys=True))
for d in data:
print(f'ID:\t{d["ID"]}')
print(f'Job Title:\t{d["JobTitle"]}')
print(f'Created:\t{d["Created"]}')
print('*' * 80)
# Available keys in this JSON:
# ClassName
# LastEdited
# Created
# ANZSCO
# JobTitle
# Description
# WorkTasks
# WorkEnvironment
# PhysicalMentalDemands
# Comments
# EntryRequirements
# Group
# ID
# RecordClassName这将打印：
ID: 2327
Job Title: Watch and Clock Maker and Repairer
Created: 2017-07-11 11:33:52
********************************************************************************
ID: 2328
Job Title: Web Administrator
Created: 2017-07-11 11:33:52
********************************************************************************
ID: 2329
Job Title: Welder
Created: 2017-07-11 11:33:52
...and so on在我编写的脚本中，您可以使用可用的键来访问特定的作业数据。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51414216
复制相关文章
相似问题