爬虫这类型程序典型特征是意外多，无法确保每次请求都是稳定的返回统一的结果，要提高鲁棒性，能对错误数据or超时or程序死锁等都能进行处理，才能确保程序几个月不停止。本项目乃长期维护github：反反爬虫开源库中积累下来，更多干货欢迎star。
# 在UI 自动化测试中，经常会遇到下拉框的应用。针对下拉框，Selenium 提供了Select类来处理，
当一件事情要做两次以上，那么你就需要为它写个自动化脚本，本系列文章讲的就是如何执行Web自动化。一般Web自动化测试环境主要有三部分组成：Python、Selenium和浏览器。 Pycharm是一个用于python语言编程的开发环境，分为普通版和专业版两款。正常学习只需要下载免费的普通版，但是要用Django制作网页只能选择安装专业版本。 Selenium是一款关于Web的自动化测试工具，分为selenium 1、 selenium 2和selenium 3三个版本。这里我们使用selenium2作为我们
Selenium是一个开源的自动化测试框架，用于模拟用户在网页上的操作。它可以用于自动化测试、网页抓取和网页功能验证等任务。
这里我们选用第三种，相对来说适应性比较好，也方便查看进展，如果想隐藏页面，只需要加入—headlss选项即可。
如果在搜索引擎随随便便搜索下： selenium 异常 会发现有大量的文章给你分享关于各种异常处理的内容，如下：
driver.switch_to.frame(通过find_element_by函数定位的frame、iframe标签对象)
1.Selenium是否支持桌面应用软件的自动化测试。 Selenium不支持桌面软件的自动化测试，Selenium是根据网页元素的属性才定位元素，而其他桌面软件自动化测试工具是根据桌面元素的位置来定位元素，当然现在也有根据桌面元素的属性来定位的。
隐式等待针对的是元素定位，隐式等待设置了一个时间，在一段时间内判断元素是否定位成功，如果完成了，就进行下一步
关于昨天的机器学习文章，希望能够亲自码一下，将会学到很多东西，如果觉得很好，欢迎转发，谢谢！ 有关翻译贡献，可点击公众号右下角联系我，备注：翻译，或者昨日文章的阅读原文，pr到仓库中来！ 关于今天的爬虫文章，则是一篇之前练习爬虫碰到的问题解决策略，希望可以帮助大家，下面一起来看吧，欢迎留言与转发！
selenium的其它使用方法 知识点： 掌握 selenium控制标签页的切换 掌握 selenium控制iframe的切换 掌握 利用selenium获取cookie的方法 掌握 手动实现页面等待 掌握 selenium控制浏览器执行js代码的方法 掌握 selenium开启无界面模式 了解 selenium使用代理ip 了解 selenium替换user-agent ---- 1. selenium标签页的切换 当selenium控制浏览器打开多个标签页时，如何控制浏览器在不同的标签页中进行切换呢？
Web端的UI自动化测试，目前使用比较多的就是Python+Selenium。当前一些UI自动化测试工具也是基于Selenium做开发的。 最近经常有童鞋后台询问selenium元素定位方法，其实网上学习资料很多，只要你肯动手，都可以搜的到。元素定位对于自动化测试来说是比较重要而且繁琐的一件事。接下来就来讲一下如何使用webdriver提供的基本元素定位方法。 再次声明：本站点已经和百度、必应、谷歌等各大搜索引擎达成长期的战略合作协议，你有任何疑问都可以通过以上公司提供的免费服务得到解答。
很多人在群里问，这个下拉框定位不到、那个弹出框定位不到…各种定位不到，其实大多数情况下就是两种问题：1 有frame，2 没有加等待。殊不知，你的代码运行速度是什么量级的，而浏览器加载渲染速度又是什么量级的，就好比闪电侠和凹凸曼约好去打怪兽，然后闪电侠打完回来之后问凹凸曼你为啥还在穿鞋没出门？凹凸曼分分中内心一万只羊驼飞过，欺负哥速度慢，哥不跟你玩了，抛个异常撂挑子了。
Actions类提供的鼠标事件常用方法（perform()执行所有Actions中存储的行为）：
软件测试UI自动化是现代软件开发中不可或缺的一环。随着软件开发速度的加快和市场的竞争日益激烈，确保软件质量和提供优质用户体验变得至关重要。手动测试虽然在过去是常见的测试方法，但在大型和复杂的应用程序中，它变得耗时且容易出错。软件测试UI自动化的出现解决了这些挑战。
当您在网站上遇到404 /页面未找到/无效超链接时，会想到什么想法？啊！当您遇到损坏的超链接时，您会感到烦恼，这是为什么您应继续专注于消除Web产品（或网站）中损坏的链接的唯一原因。您可以使用Selenium WebDriver来利用自动化进行錯誤的链接测试，而无需进行人工检查。
1.1 异常处理概念 1.1.1 预定义的异常处理 1.1.2 非预定义的异常处理 1.1.3 用户自定义的异常处理 1.1.4 用户定义的异常处理 1.2 异常错误传播 1.2.1 在执行部分引发异常错误 1.2.2 在声明部分引发异常错误 1.3 异常错误处理编程 1.4 在 PL/SQL 中使用 SQLCODE, SQLERRM异常处理函数 即使是写得最好的PL/SQL程序也会遇到错误或未预料到的事件。一个优秀的程序都应该能够正确处理各种出错情况，并尽可能从错误中恢复。任何ORACLE错误（报告为
强制等待：不管浏览器元素是否加载完成，程序都得等待3秒，3秒一到，继续执行下面的代码。
前边讲解完八大元素定位大法，今天宏哥讲解和分享一下三大延时等待。宏哥这里简称“三等八定”。很多人在群里问，这个下拉框定位不到、那个弹出框定位不到…各种定位不到，其实大多数情况下就是两种问题：1. 有frame，2. 没有加等待。殊不知，你的代码运行速度是什么量级的，而浏览器加载渲染速度又是什么量级的，就好比闪电侠和凹凸曼约好去打怪兽，然后闪电侠打完回来之后问凹凸曼你为啥还在穿鞋没出门？凹凸曼分分中内心一万只羊驼飞过，欺负哥速度慢，哥不跟你玩了，抛个异常撂挑子了。 那么怎么才能照顾到凹凸曼缓慢的加载速度呢？只有一个办法，那就是等喽。说到等，又有三种等法，且听宏哥一一道来。
前言 在使用python selenium2进行自动化测试实践的过程中，经常会遇到元素定位不到，弹出框定位不到等等各种定位不到的情况，在大多数的情况下，无非是以下两种情况： 1、有frame存在，定位前，未switch到对应的frame内 2、元素未加载完毕（从界面看已经显示），但DOM树还在load状态或在加载js 那对于这类情况，怎么解决呢？ 通俗的讲法： 等待。 高大上点：解决自动化测试代码与浏览器加载渲染之间的同步问题。 下面我们分段讲述各种处理方式： 一 强制等待 这种方式简单粗暴直接有效，不
增加平台日志和管理工具、管理节点支持高可用、6个中等级别以上的bug修复、云帮社区版迎来2017年4月升级版本，我们优化了云帮的私有化安装部署的流程，完善了异步操作的反馈流程，改进了应用异常错误显示流程。本月产品层面的升级主要集中在Go语言源码构建方面,支持主流Go语言版本，完美兼容Beego等开发框架。 云帮（ACP） 云帮是好雨科技研发的一款基于容器技术的应用管理平台（Application-Centric Platform as a service）。社区版针对个人、企业完全免费，您可以自由的下载与传
当类似上述故障发生时，最痛苦的莫过于“救火队”——运维人员，不仅需要耗费大量时间进行排查，而且不能很好定位到是前端的问题还是后端的问题，前后端IT人员的互相甩锅，也导致问题迟迟无法解决。
WebDriver可以像用户一样驱动原生浏览器，无论是在本地服务器还是在使用Selenium服务器的远程机器上，都标志着浏览器自动化的一个飞跃。
在前面的文章中详细的演示了TestNG测试框架的安装以及基本的应用，和testng.xml配置文件的应用，在本次文章中系统详细的概述TestNG框架中的注释，在Python里面这样的注释可以理解为装饰器。这些知识点主要涉及具体为：测试前和测试后，参数化，注释测试，禁用测试，异常测试，时间测试，以及把测试数据传递到测试方法中。下面结合具体的实际案例和具体的案例实战，从各个不同维度来演示各个知识点的应用。在Java5中引入了注释的功能，比如一个类集成了Thread类，在编写run方法的时候就会引入@Override，当然还有其他的案例。在TestNG的框架中，更多体现在测试执行前和测试执行后，我们在讲解单元测试框架的时候说过，一个完整的测试框架，它首先就得具备测试执行前的初始化以及测试执行后的环境清理。在TestNG框架中，这些点主要会包含在针对类，以及针对测试方法。我们先来看Before和After的应用，也就是说测试套件，测试类，测试用例，测试方法，具体案例源码如下：
Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样。
本来上一篇就是练习篇的最后一篇文章了，但是有的小伙伴私下反映说是做了那么多练习，没有一个比较综合的demo练练手。因此宏哥在这里又补存了一些常见的知识点进行练习，在文章最后也通过实例给小伙伴们或者童鞋们进行了一个登录模块的自动化测试的实例，其他的你可以照猫画虎地轻松的搞定和实现。
请注意，本文编写于 1727 天前，最后修改于 996 天前，其中某些信息可能已经过时。
② 页面加载时间过慢，需要查找的元素程序已经完成，单页面还未加载，此时可以加载页面等待时间
相信很多开发者对于代码调试最难的地方是什么依然云里雾里，而且这不仅仅是初学者需要面临的问题——本文中就来探讨下何为代码调试的最佳指南。
（一） 前言 突然的资源受限或网络延迟，可能导致找不到目标元素，这时测试报告会显示测试失败。这时需要一种延时机制，来使脚本的运行速度与程序的响应速度相匹配，WebDriver为这种情况提供了隐式等待和显式等待两种机制。 （二） 隐式等待 一旦设置隐式等待时间，就会作用于这个WebDriver实例的整个生命周期（对所有的元素查找都生效），设置隐式等待时间后，Webdriver会在一定时间内持续检测和搜寻DOM，以便于查找一个或多个不是立即加载成功并可用的元素。隐式等待的默认时间是0. WebDriver使用
使用sleep，需先导入time模块，import time, 然后使用time.sleep()来让程序等待多久。
1． 加载页面[image.png]PhantomJS 截取的是网页的完整页面，包括下拉进度条的内容
业界有一些强大的工具可以替代Selenium，今天就来大概介绍一下。以下清单是精挑细选的Selenium替代框架：
几十年来，Java一直是开发应用程序服务器端的首选编程语言。尽管JUnit一直在与开发人员一起帮助他们进行自动化的单元测试，但随着时间的推移和测试行业的发展，特别是伴随着自动化测试的兴起，已经开发了许多基于Java的开源框架，它们在验证和业务逻辑方面与JUnit有所不同。在这里，我将讨论用于使用Selenium WebDriver执行测试自动化的顶级Java测试框架，还将重点介绍这些顶级Java测试框架的优缺点和独到之处。
WebDriverWait 通常与 until 和 util_not 结合使用，Java 与 Python 用法相同。
用一句通俗易懂的话就是：等待元素已被加载完全之后，再去定位该元素，就不会出现定位失败的报错了。
等待可以帮助用户在重定向到其他网页时解决问题。这可以通过刷新整个网页并重新加载新的Web元素来实现。有时，也可能会有Ajax调用。因此，在重新加载网页并反映Web元素时可以看到时间滞后。
本文就介绍了Selenium的常用内容：了解Selenium Webdriver 是干什么的
Excelize 是 Go 语言编写的用于操作电子表格办公文档的开源基础库，基于 ISO/IEC 29500、ECMA-376 国际标准。可以使用它来读取、写入由 Microsoft Excel、WPS、Apache OpenOffice、LibreOffice 等办公软件创建的电子表格文档。支持 XLAM / XLSM / XLSX / XLTM / XLTX 等多种文档格式，高度兼容带有样式、图片(表)、透视表、切片器等复杂组件的文档，并提供流式读写支持，用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。自 2016 年开源以来已成为云原生应用尤其是 Go 语言开发者在处理电子表格办公文档时的热门选择，正在被广泛应用于大型互联网公司、中小企业客户和初创公司。荣获 2022 年中国开源创新大赛一等奖、入选 2020 Gopher China - Go 领域明星开源项目 (GSP)、2018 年开源中国码云最有价值开源项目 GVP (Gitee Most Valuable Project)。
相信很多开发者对于代码调试最难的地方是什么依然云里雾里，而且这不仅仅是初学者需要面临的问题——本文中就来探讨下何为代码调试的最佳指南。 作者 | Julia Evans 译者 | 苏本如，责编 | 郭芮 出品 | CSDN（ID：CSDNnews） 以下为译文： 昨天我和一些朋友一起调试代码，他们做程序员这一行都不太久，我向他们展示了一些代码调试技巧。 今天早上我在想，我应该如何教授他们学习代码调试？我在Twitter上发了一条推文说，我从来没有见过任何好的调试代码的指南。像往常一样，我得到了很多
Nightwatch js 是我之前写自动化测试用例使用了很长一段时间的测试框架，当时的使用 v0.9 版本并且对使用和 API 进行了翻译。作为一名前测试工程师，对于自动化测试领域也需要定期更新一下自己的知识库，一转眼 Nightwatch 1.3 版本已经发布了，可以看到它在 GitHub 上的使用和关注度还是很高的。
搭建UI自动化框架时,使用的是PO设计模式,也就是把每一个页面所需要操作的元素和步骤封装在一个页面类中。然后使用Selenium+unitest搭建四层框架实现数据、脚本、业务逻辑分离(关键字驱动)。其中四层框架包括基础层、业务逻辑层、数据层、测试用例层。
我们在实际使用selenium或者appium时，等待下个等待定位的元素出现，特别是web端加载的过程，都需要用到等待，而等待方式的设置是保证脚本稳定有效运行的一个非常重要的手段，在selenium中（appium通用）常用的等待分为显示等待WebDriverWait()、隐式等待implicitly_wait()、强制等待sleep()三种，下面我们就分别介绍一下这三种等待的区别
在Selenium自动化测试中网页可能需要花费一些时间来加载，或者希望在触发测试代码之前可以看到页面上的特定Web元素。在这种情况下，需要执行“显式等待”，这是一段代码，通过它可以定义要发生的条件，然后再继续执行代码。
当测试工程师执行Selenium测试自动化用例时，可能会遇到很多陌生的Exception。在执行测试脚本时，有些Exception可能不是很常见，因为测试用例锁依赖的测试框架拥有足够健壮性以应对此类场景。这些未被预期的场景被称为异常场景，在使用Selenium进行自动浏览器测试时，通常来讲会遇到很多异常场景。
基本上就是超时的error. 如果页面超时，会导致后面的所有都不执行。 selenium是单进程在执行，我们考虑搞一个备用的进程，如果主进程死了，就可以切换过来，如同我们生活中的备胎。 这样就不需要重新启动selenium。
今天要搞定的验证码属于现在使用非常多的验证码的一种类型---极验证滑动验证码，关于这个验证码的详细说明查阅他的官网，https://www.geetest.com/ 把验证码做到这个地步，必须点赞了。
领取专属 10元无门槛券
手把手带您无忧上云
