如何筛选javascript生成的scrap.html页面？
提问于 2014-04-12 09:09:56
我如何屏幕刮--一个由javascript生成的html页面？我尝试过这样的方法：
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
HtmlWeb hw = new HtmlWeb();
doc = hw.Load("http://stats.nba.com/scores.html?gameDate=04/11/2014");
HtmlNodeCollection nodes = doc.DocumentNode.SelectNodes("//div[@id='scoreboards']");但是，这不起作用，因为内容是由javascript生成的。在javascript生成html之后，有没有一种方法可以刮掉页面？也许用别的东西然后是敏捷性包？
回答 2
Stack Overflow用户
发布于 2014-04-12 11:02:21
使用get浏览器控件获取js或ajax加载的内容和元素。
private void LoadHtmlWithBrowser(String url)
{
webBrowser1.ScriptErrorsSuppressed = true;
webBrowser1.Navigate(url);
waitTillLoad(this.webBrowser1);
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
var documentAsIHtmlDocument3 = (mshtml.IHTMLDocument3)webBrowser1.Document.DomDocument;
StringReader sr = new StringReader(documentAsIHtmlDocument3.documentElement.outerHTML);
doc.Load(sr);
}
private void waitTillLoad(WebBrowser webBrControl)
{
WebBrowserReadyState loadStatus;
int waittime = 100000;
int counter = 0;
while (true)
{
loadStatus = webBrControl.ReadyState;
Application.DoEvents();
if ((counter > waittime) || (loadStatus == WebBrowserReadyState.Uninitialized) || (loadStatus == WebBrowserReadyState.Loading) || (loadStatus == WebBrowserReadyState.Interactive))
{
break;
}
counter++;
}
counter = 0;
while (true)
{
loadStatus = webBrControl.ReadyState;
Application.DoEvents();
if (loadStatus == WebBrowserReadyState.Complete && webBrControl.IsBusy != true)
{
break;
}
counter++;
}
}Stack Overflow用户
发布于 2014-04-12 09:14:51
您可以使用webbrowser对象，它是一个c#对象，它的作用类似于浏览器，运行javascript代码，并在收到响应后使用敏捷性包解析它。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/23033578
复制相关文章
点击加载更多
腾讯云开发者
