概述:
python通过selenium爬取数据是很多突破封锁的有效途径。但在使用selenium中会遇到很多问题,本文就通过一问一答的形式来通熟易懂的普及如何通过selenium执行javascript程序,进而获取动态执行后的网页。如果你喜欢,欢迎转发本文。
python爬虫编程:用selenium执行javascript出错了,该咋改?
问题:
小明开始学习python爬虫编程了,仿佛整个互联网的数据都快被他纳入囊中了。今天,他又试图完成一个高难度动作,他想让selenium中抓取到以下HTML后,并自动执行js脚本,模仿鼠标自动执行一个点击动作。但令他很失望的是,居然,居然,没用!
这是他执行的代码。
它没用,没有反应。究竟做错了什么?
Python大大的答案:
要点回答:
使用selenium查找元素并将其传递execute_script()给单击:
如果要从头解决这问题,那么以下就是需要了解它的一系列事情:
如何使用JavaScript模拟点击?
这就是我做的东西。这很简单,但它有效:
用法:
如何在Python里进行模拟点击呢?首先制定一个自定义的预期条件,等待元素被“执行”:
定义完毕后,如何在程序里调用这个类呢?看看以下代码:
看,如何在python里通过selenium来爬取数据就是这么简单。要点掌握好,开始编制自己的爬虫吧。
领取专属 10元无门槛券
私享最新 技术干货