Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。
框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时,浏览器自动按照脚本代码做出点击,输入,打开,验证等操作,就像真实用户所做的一样,从终端用户的角度测试应用程序。
安装 Selenium pip install selenium
下载驱动 :
大家自行搜索吧,网上很多的,我们选用火狐浏览器的驱动,最新版的好像不能使用,大家注意下,不行就下载次新的!下载好对应的浏览器驱动放到 Python 安装目录下就行
导入模块
创建Firefox对象:browser = webdriver.Firefox()
参考文章:【learnaLanguage_YiZhou_Python:Selenium爬取动态网页】
通过上面的实例可以看到,通篇没有去考虑网站是否有反爬等等手段,这也是selenium做爬虫的一个优势,只要能打开并正常浏览的网页,都可以用它来做爬虫,不用考虑各种反爬,可以说是非常实用的手段了!
有喜欢的小伙伴可以私信我,一起交流哦!