知识点讲解四：selenium教程

K同学啊

发布于 2019-01-28 17:21:07

1K0

发布于 2019-01-28 17:21:07

文章被收录于专栏：明天依旧可好的专栏明天依旧可好的专栏

环境： Python3.6.5

编译器： Sublime Text 3

联系方式： ke.zb@qq.com

第三方库： seleniu

我们模拟登陆用的是selenium库，selenium是一个自动化测试工具，在爬虫中通常用来进行模拟登陆。

二、安装

这里我推荐给大家的安装工具是命令行，win+R输入cmd可以快速打开命令行工具

在命令行中输入以下命令即可安装，前提是你已经安装好Python环境且pip可以正常使用

pip install selenuim

三、下载驱动器

驱动器是我们在通过selenium模拟用户操作时需要的一个工具，我这里用的是Chromedriver（谷歌浏览器驱动，对应谷歌浏览器），下面是Chrome、Edge、Firefox、Safari等浏览器驱动的下载地址

下载完成后我们有两种掉用驱动器的方法，一种是把驱动器放到py文件同一文件夹下，另外一种就是将驱动器放到Python的安装目录下，以下是我的Python安装目录

注：网上流传比较广的方法是将驱动器加到环境变量中，但是我试了好像不怎么管用依然会报错，所以我就不放到这里（实践过确实有效的童鞋，可以在文章下方留言，在此感谢你的分享）

四、简单实例

来一段代码让我们直观的理解一下selenium吧

from selenium import webdriver
 
driver = webdriver.Chrome()
driver.get('http://www.baidu.com/')

运行代码，我们可以看到跳出如下的浏览器界面

下面我们将继续完善代码来实现自动化，在搜索框中输入“明天依旧可好”–>点击搜索结果的第一条

time.sleep(1)
driver.find_element_by_xpath("//input[@name='wd']").send_keys("明天依旧可好")
time.sleep(2)
driver.find_element_by_xpath("//div[@class='result c-container ']//h3/a").click()

五、配置浏览器

我们在使用 selenium 时，可能需要对 chrome 做一些特殊的设置，以完成我们期望的浏览器行为，比如最大化窗口，无窗口启动 等动作。这些需要selenium的ChromeOptions来帮助我们完成

（一）配置浏览器

chromeoptions 是一个方便控制 chrome 启动时属性的类，主要提供如下的功能：

设置 chrome 二进制文件位置 (binary_location)
添加启动参数 (add_argument)
添加扩展应用 (add_extension, add_encoded_extension)
添加实验性质的设置参数 (add_experimental_option)
设置调试器地址 (debugger_address)

常用设置举例：

#设置无窗口
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=options)
driver.get('https://blog.csdn.net/qq_38251616')

1.add_argument常用系列

无窗口：- -headless
启动就最大化：- -start-maximized
设置窗口大小：- -window-size=100,100
禁用弹出拦截：- -disable-popup-blocking
禁用插件：- -disable-plugins
禁用图像：- -disable-images
伪装iphone登录：- -user-agent=iphone
伪装android：- -user-agent=android
设置语言为简体中文：- -lang=zh-CN
使用给定的 User-Agent 字符串：- -user-agent=“这里填写User-Agent”
禁用Javascript：- -disable-javascript
指定用户文件夹User Data路径：- -user-data-dir="PATH"

注释：两个“-”中间是没有空格的，由于排版原因我在中间加了一个空格。

（二）添加代理

chrome_options = webdriver.ChromeOptions()
#设置代理
chrome_options.add_argument('--proxy-server=http://{ip}:{port}')
driver = webdriver.Chrome(chrome_options=options)
driver.get('https://blog.csdn.net/qq_38251616')

六、定位标签

定位方法示例：

#获取网页中的h1标签
h1 = driver.find_element_by_name("h1")
#获取网页中所有的h1标签
h1_list = driver.find_elements_by_name("h1")

单个元素选取：

find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

多个元素选取：

find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

七、页面操作

selenium最主要的优势在于我们可以在代码中添加需要对网页进行的操作，比如输入提交表单、点击按钮、清空输入框等等。下面我将常用的操作一一列举出来

代码示例

driver.find_element_by_xpath("//input[@name='wd']").send_keys("明天依旧可好")
driver.find_element_by_xpath("//input[@name='wd']").clear()
driver.find_element_by_xpath("//div[@class='result c-container ']//h3/a").click()

操作列举