我在做一个有趣的网络爬虫。举个例子,基本上我想做的就是抓取这个页面
def urslit_spider(max_years):
while year <= max_years:
url = 'http://www.premierleague.com/content/premierleague/en-gb/matchday/results.html?source
product-category/例如site.ru/product-category/car/sport/bmw make site.ru/car/sport/bmw插件可以很好地处理它,但是,不可能在url .html的末尾添加site.ru/cars/sport/bmw.html而不是site.ru/product-category/cars/sport/bmw site.ru/
我正在使用C#窗口应用程序来获取网页HTML内容,但返回的内容不完整(新闻列表缺少,因为它使用java脚本加载)。我添加了一个webBrowser控件并导航到我想要获取内容的网址,在documentDompleted事件中,我得到了缺少一些HTML标签的documentText。我尝试了stackoverflow中的所有解决方案,但都失败了。WebBrowserDocumentCompletedEventArgs e