我应该为动态网页使用哪种屏幕抓取器？
我应该为动态网页使用哪种屏幕抓取器？
提问于 2011-02-22 19:48:45
我希望开发一个程序，从6个不同的网站收集数据，并显示动态变化的信息。
为了开发这样的程序，我需要一个屏幕刮板实用程序，它能够同时从6个不同的WebPages上提取数据，在上面的数据以非常高的频率变化。
请参阅下面的链接，了解数据显示的类型和动态方式。
http://www.igmarkets.com.au/pricestream/outside/getMarketList?webSiteId=zam&businessArea=F&locale=en_ZA&firstTime=true&skin=igindex
信息在6个网页上的显示略有不同，但概念非常相似。
谁能告诉我，什么是正确的实用软件，这是理想的目的。
非常感谢
回答 1
Stack Overflow用户
发布于 2011-02-23 18:29:38
从道德上讲，屏幕抓取可能是一种可疑的做法-但也有合法的用途。例如，搜索引擎通过抓取结果来获取结果。
一些站点会阻止发出太多请求的实用程序-如果你要发出很多请求，这是一个很好的理由要求许可-否则它可能看起来像一个DoS attack，并且站点可能会对你采取行动。
除此之外，如果您具有读取页面内容的合法用途(以便能够以某种方式对其进行处理)，则代码相当简单。
来自MSDN
在C#中：
// Initialize the WebRequest.
WebRequest myRequest = WebRequest.Create("http://www.contoso.com");
// Return the response.
WebResponse myResponse = myRequest.GetResponse();
// Code to use the WebResponse goes here.
// Close the response to free resources.
myResponse.Close(); 页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/5077682
复制相关文章
相似问题
腾讯云开发者
