我正在编写一个python应用程序,它可以从我制作的web应用程序中抓取传感器数据。我想使用lxml从HTML中收集某些span元素,这些元素通过JQuery脚本定期更新。似乎lxml没有获取使用JQuery更新的文本,因为我只检索加载原始HTML的空字符串。JQuery的值是在查看网页时反映出来的,而不是在web抓取工具上。如何才能始终如一地检索使用JQuery更新的数据?
HTML
<!--Blower Speed Well -->
<div class = "col-xs-4">
我试图访问html页面从我的Windows 8中抓取数据,但首先我需要向它发送登录凭据。我目前正在使用从登录页面中抓取数据。我尝试使用WebBrowser实例在后台运行,但是html页面不能自动单击,我无法继续。之后,我尝试使用HttpClient类来使用PostAsync()方法发送数据,该方法只接收一个HttpResponseMessage,我不知道该做什么,但是我能够使用HttpContent对象成功地发送凭据数据。
var httpResponseMessage = await client1.PostAsync("https://www.webpage.com", c