使用selenium模块模拟浏览器爬去网页,并进行点击定位内容笔记

针对模拟浏览器采用。

webdriver.Firefox()

火狐浏览器模拟

Windows系统解决办法如下:

1、下载geckodriver.exe: 下载地址:https://github.com/mozilla/geckodriver/releases 请根据系统版本选择下载;(如Windows 64位系统) 2、下载解压后将getckodriver.exe复制到Firefox的安装目录下,如(C:\Program Files\Mozilla Firefox),并在环境变量Path中添加路径:C:\Program Files\Mozilla Firefox;

3.重启cmd或IDLE再次运行代码即可

ubuntu16.04环境下 解决方法:

1、下载 geckodriverckod 地址: https://github.com/mozilla/geckodriver/releases

2、解压后将geckodriverckod 存放至 /usr/local/bin/ 路径下即

注:还没测试

二、点击定位

往往网页是异步加载形式,在url中没有体现,需要对页面上的元素进行点击,以执行下一步

对应于webdriver中的定位方法分别是:

  • driver.find_element_by_name()——最常用,简单
  • driver.find_element_by_id()——最常用,简单
  • driver.find_element_by_class_name()
  • driver.find_element_by_tag_name()——最不靠谱
  • driver.find_element_by_link_text()——定位文字连接好用
  • driver.find_element_by_partial_link_text()——定位文字连接好用
  • driver.find_element_by_xpath()——最灵活,万能
  • driver.find_element_by_css_selector()

如果定位多组元素则在element后面+s,即dirver.find_elements_by_name()

三、选择对应位置,并对页面进行操作

  • clear 清除元素的内容,如果可以的话
  • send_keys 在元素上模拟按键输入
  • click 单击元素
  • submit 提交表单

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IMWeb前端团队

Ques前端组件化体系(一)

Ques是一套组件化系统,解决如何定义、嵌套、扩展、使用组件。 项目地址:https://github.com/miniflycn/Ques 传统开发模式的痛点...

278100
来自专栏小程序·云开发专栏

小程序页面管理与跳转

原文链接:https://godbasin.github.io/2018/09/08/wxapp-page-and-navigate/

66120
来自专栏破晓之歌

移动web开发适配秘籍Rem(推荐) 原

9910
来自专栏Python攻城狮

Django教程(二)- Django视图与网址进阶1. HTML表单2.CSRF3.代码操作

HTML 表单用于搜集不同类型的用户输入。 表单是一个包含表单元素的区域。 表单元素是允许用户在表单中输入内容,比如:文本域(textarea)、下拉列表、...

10840
来自专栏前端之路

window.location对象实现页面刷新

24640
来自专栏Golang语言社区

Golang为别人写的csv文件处理的例子

package main import ( "encoding/csv" "flag" "io" "log" "os" ...

40650
来自专栏WindCoder

5月14日项目小结-微信中图片选择与上传

11220
来自专栏salesforce零基础学习

salesforce lightning零基础学习(七) 列表展示数据时两种自定义编辑页面

上一篇Lightning内容描述的是LDS,通过LDS可以很方便的实例化一个对象的数据信息。当我们通过列表展示数据需要编辑时,我们常使用两种方式去处理编辑页面:...

15420
来自专栏漫漫全栈路

ASP.NET MVC学习笔记04数据传递

上一篇的末尾讲到了,在了解模型之前,先来看看ASP.NET MVC是如何将数据从控制器传递给视图的。 ---- 简单梳理一下: 控制器想要请求的URL,控...

38060
来自专栏Android干货

小程序实践(五):for循环绑定item的点击事件

--------------------------------------------------------------------------------...

22610

扫码关注云+社区

领取腾讯云代金券