（一） 前言 Web应用以及包含超文本标记语言（HTML）、层叠样式表（CSS）、JS脚本的WEB页面，基于用户的操作（例如点击提交按钮），浏览器向WEB服务器发送请求，WEB服务器响应请求，返回给浏览器HTML及相关的JS、CSS、图片等资源，浏览器使用这些资源生成WEB页面，其中包含WEB各种视觉元素，例如文本框、按钮、标签、图标、复选框、下拉框、图片等，这些视觉元素或控件都被Selenium称为页面元素（webelements）。 想要让Selenium执行我们想要的操作，首先必须让Selenium
本次实现自动化是用python语言进行实现，所以需要有一点python基础，其实python还是比较简单入门的，下面开始。
Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样。
Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。
Selenium 打开页面后，默认是在父级 Frame 里面操作，如果页面中还有子 Frame，Selenium 是不能获取到子 Frame 里面的节点的。这时就需要使用 switch_to.frame 方法来切换 Frame。
刚开始按照老师那个方法就是线截取全屏，之后在寻找那个验证码区域在进行二次截取 后来发现不太行，怎么该就是在左边左上角那一片区域 就看评论发现竟然可以直接截取验证码哪一个区域，然后我就在出阿宝工具里边找到验证码区域的一个xpath位置 对他直接进行截取
在开始登录前，咱们得先学习一下selenium定位元素的方法，不然找不到元素是没办法完成自动操作
自动化爬虫虽然方便，但希望大家能顾及网站服务器的承受能力，不要高频率访问网站。并且千万不要采集敏感数据！！否则很容易"从入门到入狱"
今天我们要做的事情是使用动态爬虫来爬取QQ空间的说说，并把这些内容存在txt中，然后读取出来生成云图，这样可以清晰的看出朋友的状况。
前言 在17篇我们讲了excel数据的参数化，有人问了txt数据的参数化该怎么办呢，下面小编为你带你txt数据参数化的讲解 一、以百度搜索为例，自动搜索五次不同的关键字。输入的数据不同从而引起输出结果的变化。 测试脚本： #coding=utf-8 from selenium import webdriver import unittest, time, os class Login(unittest.TestCase): def test_login(self): so
在做web或app的自动化测试经过会出现找不到元素而报错的情况，很多时候是因为元素
selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题
按宏哥计划，本文继续介绍WebDriver关于元素定位大法，这篇介绍By ClassName。看到ID，NAME这些方法的讲解，小伙伴们和童鞋们应该知道，要做好Web自动化测试，最好是需要了解一些前端的基本知识。有了前端知识，做元素定位会很轻松，同样写网络爬虫也很有帮助，话题扯远了，回到Selenium自动化测试。tagName是DOM结构的一部分，其中页面上的每个元素都是通过输入标签，按钮标签或锚定标签等标签定义的。每个标签都具有多个属性，例如ID，名称，值类等。就其他定位符而言在Selenium中，我们使用了标签的这些属性值来定位元素。 对于Selenium中的tagName定位器，我们将仅使用标签名称来标识元素。
今天自己实战写了个爬取京东商品信息，和上一篇的思路一样，附上链接：https://www.cnblogs.com/cany/p/10897618.html
一、Selenium介绍 Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。 Selenium 2，又名 WebDriver，它的主要新功能是集成了 Selenium 1.0 以及 WebDriver（WebDriver 曾经是 Selenium 的竞争对手）。也就是说 Selenium 2 是 Selenium 和 WebDriver 两个项目的合并，即 Selenium 2 兼容 Selenium，它既支持 Selenium API 也支持 WebDriver API。 中文文档：http://selenium-python-zh.readthedocs.io/en/latest/index.html 英文文档：http://selenium-python.readthedocs.io/index.html
我们来看一段最早的代码： # coding: utf-8 from selenium import webdriver from time import sleep driver = webdriver.Firefox() driver.get("http://blog.hexun.com/") driver.find_element_by_id("read_btn").click() driver.maximize_window() sleep(3) driver.find_element_by_id
webDriver是按照client/server模式设计，client就是我们的测试代码，发送请求，server就是打开的浏览器来打开client发出的请求并做出响应。
获取经纬度的方法有很多，通过调用某地图API，模块geopy。但这两种方式都有一定的缺点，调用某地图API访问次数有限，使用模块geopy虽然次数不受限制，但是这个模块只能精确到镇，如果地点再精确一点就可能会出现问题。今天我们来一点不一样的，直接使用selenium获取经纬度！
一 介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selenium import webdriver browser=webdriver.Chrome() browser=webdriver.Firefox() browser=webdriver.PhantomJS() b
1、先登陆后取网页中的Cookie加入到headers（标头），再用get方法获取网页内容
https://www.cnblogs.com/poloyy/category/1680176.html
元素定位可以说是UI自动化测试的基础，没有元素定位，UI自动化就无从谈起。一般来说，一个好的定位器应该有如下4个属性：
在上一篇：Selenium自动化测试-元素定位(1)，我们分析了id，name, class, tag, link_text及partial_link_text 共6种定位方法，其中id、name最常用。
最近购买了《Python3 爬虫、数据清洗与可视化实战》，刚好适逢暑假，就尝试从携程页面对广州的周边游产品进行爬虫数据捕捉。 因为才学Python不够一个星期，python的命名规范还是不太了解，只能套用之前iOS开发的命名规范，有不足之处请多多指点
selenium里面有很多东西，第一个就是webdriver，web自动化中主流用的东西，它可以支持非常多的语言。它有个录制工具是selenium ide，短期内一周内有个效果可以用录制，录制是非常简单的。但是正经做项目的时候，是从来不用selenium ide的。
选择对应版本驱动chromedriver.exe，下载到本地，放在工程路径下即可。
最近在逛社区的时候发现了个大佬在博客中分享了上千本电子书资源，尽管我的网盘中已经堆积了很多电子书了。。。
天猫商品数据爬虫使用教程 下载chrome浏览器 查看chrome浏览器的版本号,对应版本号的chromedriver驱动 pip安装下列包 pip install selenium pip install pyquery 登录微博，并通过微博绑定淘宝账号密码 在main中填写chromedriver的绝对路径 在main中填写微博账号密码 #改成你的chromedriver的完整路径地址 chromedriver_path = "/Users/bird/Desktop/chromedriv
Selenium是一款用于测试Web应用程序的经典工具，它直接运行在浏览器中，仿佛真正的用户在操作浏览器一样，主要用于网站自动化测试、网站模拟登陆、自动操作键盘和鼠标、测试浏览器兼容性、测试网站功能等，同时也可以用来制作简易的网络爬虫。
👋 你好，我是 Lorin 洛林，一位 Java 后端技术开发者！座右铭：Technology has the power to make the world a better place.
基本概述 selenium可以便捷的获取网站中的动态加在的数据 selenium可以便捷的实现模拟登陆 selenium是基于浏览器自动化的一个模块 使用流程 bash pip install selenium 查看google浏览器版本号 bash # 在浏览器中输入 chrome://version/ 选择合适的版本 bash http://chromedriver.storage.googleapis.com/index.html 将下载好的chromedriver.exe放入开发目录中即可 运行测试
前文回顾： 「Python爬虫系列讲解」一、网络数据爬取概述 「Python爬虫系列讲解」二、Python知识初学 「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试 「Python爬虫系列讲解」四、BeautifulSoup 技术 「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息 「Python爬虫系列讲解」六、Python 数据库知识 「Python爬虫系列讲解」七、基于数据库存储的 BeautifulSoup 招聘爬取 「Python爬虫系列讲解」八、Selenium 技术 「Python爬虫系列讲解」九、用 Selenium 爬取在线百科知识 「Python爬虫系列讲解」十、基于数据库存储的 Selenium 博客爬虫
selenium并不是万能的，有时候页面上操作无法实现的，这时候就需要借助JS来完成了。
群里经常会有人问，“我循环去点击一列链接，但是只能点到第一个，第二个就失败了，为什么？”。原因就在这里：你点击第二个时已经是新页面，当然找不到之前页面的元素。这时，他会问“可是明明元素就在那里，没有变，甚至我是回退回来的，页面都没有变，怎么会说是新页面？”。这个就需要你明白页面长得一样不代表就是同一张页面，就像两个人长得一样不一定是同一个人，他们的身份证号不同。页面，甚至页面上的元素都是有自己的身份证号（id）的。
最近收到不少初学UI自动化测试的小伙伴私信，对于元素的定位还是有些头疼，总是定位不到元素，以及不知道用哪种定位方式更好。
本来上一篇就是练习篇的最后一篇文章了，但是有的小伙伴私下反映说是做了那么多练习，没有一个比较综合的demo练练手。因此宏哥在这里又补存了一些常见的知识点进行练习，在文章最后也通过实例给小伙伴们或者童鞋们进行了一个登录模块的自动化测试的实例，其他的你可以照猫画虎地轻松的搞定和实现。
网站复杂度增加，爬虫编写的方式也会随着增加。使用Selenium 可以通过简单的方式抓取复杂的网站页面，得到想要的信息。
根据statcounter统计，到2020年6月，Mozilla Firefox浏览器在全球浏览器市场中所占份额为4.25％，因此，对于每个Selenium测试用例，Mozilla Firefox浏览器都是不可避免的。 Mozilla开发人员推出了Geckodriver（也称为Selenium Firefox驱动程序），以帮助测试人员使用Firefox浏览器自动进行浏览器测试。
用法："//button[@class='ant-btn ng-star-inserted']"
如上图所示，为某数据网站，自动登录时，点击登录button会出现弹窗让你输入账号密码，此时定位输入框send_keys发送参数，报错信息如下：找不到元素（定位条件确认没写错）
一、报错WebDriverException: 'geckodriver' executable needs to be in PATH.
等待可以帮助用户在重定向到其他网页时解决问题。这可以通过刷新整个网页并重新加载新的Web元素来实现。有时，也可能会有Ajax调用。因此，在重新加载网页并反映Web元素时可以看到时间滞后。
get()方法会在网页框架加载完成后结束执行，此时的网页源码可能并不完整，如有些是ajax获取的数据，需要延时等待才能获取到
这里使用的Chrome 浏览器，方便能看到信息是否录入正确， 这里，我们首先找到输入框，然后填上 zuk z2 手机 然后再找到 搜索按钮，选中点击后， 然后再找到zuk z2手机（蓝色的字体）
原因：页面被刷新了。 在当前页面找不到这个元素了，但是你自己手动复制到页面开发者工具上查看明明有啊，为啥在代码里面就找不到了呢？这时，你还可能会问“可是明明元素就在那里，没有变，甚至我是回退回来的，页面都没有变，怎么会说是新页面？”。 其实呢是在操作的过程中页面发生了变化，刷新了，虽然表面上看起来两个元素长得一模一样，事实上是每一个元素都有自己的一个ID号。 用代码（Python）来证明！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
