我正在尝试使用Selenium (Python中的)来抓取一个几乎完全是Javascript的网页。
例如,这是页面的正文:
<body class="bodyLoading">
<!-- this is required for GWT history support -->
<iframe id="__gwt_historyFrame" role="presentation" width="0" height="0" tabindex="-1" title="
我最近开始用Scrapy学习web抓取,作为练习,我决定从this url抓取一个天气数据表。 通过检查页面的XPath元素,我将其表复制到我的代码中,但在运行代码时只得到一个空列表。我尝试使用以下代码检查HTML中存在哪些表: from scrapy import Selector
import requests
import pandas as pd
url = 'https://www.wunderground.com/history/monthly/OIII/date/2000-5'
html = requests.get(url).content
sel = S
我用driver.execute_script执行javascript,但是当我这样做时什么都不会发生--系统只是转到下一个python代码行。
有什么想法?在网页中进行网页抓取--使用控制台中的JavaScript进行数据挖掘。当jScript i将它放到web控制台时,它工作得非常好。
JavasCRIPT:
let email = '';
let contacts = document.querySelectorAll('div.contact-section');
for (let i = 0; i < contacts.length; i++)