知识点讲解四:selenium教程

环境: Python3.6.5 编译器: Sublime Text 3 联系方式: ke.zb@qq.com 第三方库: seleniu

我们模拟登陆用的是selenium库,selenium是一个自动化测试工具,在爬虫中通常用来进行模拟登陆。

二、安装

这里我推荐给大家的安装工具是命令行,win+R输入cmd可以快速打开命令行工具

在命令行中输入以下命令即可安装,前提是你已经安装好Python环境且pip可以正常使用

pip install selenuim

三、下载驱动器

驱动器是我们在通过selenium模拟用户操作时需要的一个工具,我这里用的是Chromedriver(谷歌浏览器驱动,对应谷歌浏览器),下面是Chrome、Edge、Firefox、Safari等浏览器驱动的下载地址

【Chrome驱动下载地址】

【Edge驱动下载地址】

【Firefox驱动下载地址】

【Safari驱动下载地址】

下载完成后我们有两种掉用驱动器的方法,一种是把驱动器放到py文件同一文件夹下,另外一种就是将驱动器放到Python的安装目录下,以下是我的Python安装目录

注:网上流传比较广的方法是将驱动器加到环境变量中,但是我试了好像不怎么管用依然会报错,所以我就不放到这里(实践过确实有效的童鞋,可以在文章下方留言,在此感谢你的分享)

四、简单实例

来一段代码让我们直观的理解一下selenium吧

from selenium import webdriver
 
driver = webdriver.Chrome()
driver.get('http://www.baidu.com/')

运行代码,我们可以看到跳出如下的浏览器界面

下面我们将继续完善代码来实现自动化,在搜索框中输入“明天依旧可好”–>点击搜索结果的第一条

time.sleep(1)
driver.find_element_by_xpath("//input[@name='wd']").send_keys("明天依旧可好")
time.sleep(2)
driver.find_element_by_xpath("//div[@class='result c-container ']//h3/a").click()

五、配置浏览器

我们在使用 selenium 时,可能需要对 chrome 做一些特殊的设置,以完成我们期望的浏览器行为,比如最大化窗口无窗口启动 等动作。这些需要selenium的ChromeOptions来帮助我们完成

(一)配置浏览器

chromeoptions 是一个方便控制 chrome 启动时属性的类,主要提供如下的功能:

  • 设置 chrome 二进制文件位置 (binary_location)
  • 添加启动参数 (add_argument)
  • 添加扩展应用 (add_extension, add_encoded_extension)
  • 添加实验性质的设置参数 (add_experimental_option)
  • 设置调试器地址 (debugger_address)

常用设置举例:

#设置无窗口
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=options)
driver.get('https://blog.csdn.net/qq_38251616')

1.add_argument常用系列

  • 无窗口:- -headless
  • 启动就最大化:- -start-maximized
  • 设置窗口大小:- -window-size=100,100
  • 禁用弹出拦截:- -disable-popup-blocking
  • 禁用插件:- -disable-plugins
  • 禁用图像:- -disable-images
  • 伪装iphone登录:- -user-agent=iphone
  • 伪装android:- -user-agent=android
  • 设置语言为简体中文:- -lang=zh-CN
  • 使用给定的 User-Agent 字符串:- -user-agent=“这里填写User-Agent”
  • 禁用Javascript:- -disable-javascript
  • 指定用户文件夹User Data路径:- -user-data-dir="[PATH]"

注释:两个“-”中间是没有空格的,由于排版原因我在中间加了一个空格。

(二)添加代理

chrome_options = webdriver.ChromeOptions()
#设置代理
chrome_options.add_argument('--proxy-server=http://{ip}:{port}')
driver = webdriver.Chrome(chrome_options=options)
driver.get('https://blog.csdn.net/qq_38251616')

六、定位标签

定位方法示例:

#获取网页中的h1标签
h1 = driver.find_element_by_name("h1")
#获取网页中所有的h1标签
h1_list = driver.find_elements_by_name("h1")

单个元素选取:

  • find_element_by_id
  • find_element_by_name
  • find_element_by_xpath
  • find_element_by_link_text
  • find_element_by_partial_link_text
  • find_element_by_tag_name
  • find_element_by_class_name
  • find_element_by_css_selector

多个元素选取:

  • find_elements_by_name
  • find_elements_by_xpath
  • find_elements_by_link_text
  • find_elements_by_partial_link_text
  • find_elements_by_tag_name
  • find_elements_by_class_name
  • find_elements_by_css_selector

七、页面操作

selenium最主要的优势在于我们可以在代码中添加需要对网页进行的操作,比如输入提交表单、点击按钮、清空输入框等等。下面我将常用的操作一一列举出来

代码示例

driver.find_element_by_xpath("//input[@name='wd']").send_keys("明天依旧可好")
driver.find_element_by_xpath("//input[@name='wd']").clear()
driver.find_element_by_xpath("//div[@class='result c-container ']//h3/a").click()

操作列举

  • 点击:click()
  • 提交文本:send_keys(“AAAA”)
  • 清空输入框:clear()

N、后记

关于selenium实战项目请参考:【实现CSDN自动点赞】【爬取QQ群中的人员信息】

我的专栏:【机器学习100天】【K童鞋的爬虫笔记】

参考文章:selenium 定制启动 chrome 的选项selenium+python配置chrome浏览器的选项

如果觉得我写得可以点个赞呗;如果有什么不足的地方,还你希望可以在下方留言告诉我。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券