报错：NameError: name 'NoSuchElementException' is not defined
版权声明：如需转载本文章，请保留出处！ https://blog.csdn.net/xc_zhou/article/details/90613970
作者：半载流殇，Pythonistia && Otaku，努力转行中的一位测绘人员です
python标准库为我们提供了threading和mutiprocessing模块实现异步多线程/多进程功能。从python3.2版本开始，标准库又为我们提供了concurrent.futures模块来实现线程池和进程池功能，实现了对threading和mutiprocessing模块的高级抽象，更大程度上方便了我们python程序员。
自动化测试工具，支持多种浏览器。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。
selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。
随着互联网的发展，许多网站开始采用动态网页来呈现内容。与传统的静态网页不同，动态网页使用JavaScript等脚本技术来实现内容的动态加载和更新。这给网页爬取带来了一定的挑战，因为传统的爬虫工具往往只能获取静态网页的内容。本文将介绍如何使用Selenium和API来实现动态网页的爬取
使用pip命令安装scrapy,在安装过程中可能会因为缺少依赖库而报错，根据报错提示依次下载需要的依赖库，下载过程中注意系统类型和Python版本
selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。
pip insatll selenium 由于如果需要使用selenium的话，需要为本机配置对应浏览器的驱动，下面以chomedriver为例，首先安装chromedriver，chrome版本可以在标签页输入chrome://version/看到。chromedriver下载地址,其版本与支持对应的chrome版本如下： v2.41 v67-69 v2.40 v66-68 v2.39 v66-68 v2.38 v65-67 v2.37 v64-66 v2.36 v63-65 v2.35 v62-64 v2.34 v61-63 v2.33 v60-62 v2.32 v59-61 v2.31 v58-60 v2.30 v58-60 v2.29 v56-58 v2.28 v55-57 v2.27 v54-56 v2.26 v53-55 v2.25 v53-55 v2.24 v52-54 v2.23 v51-53 v2.22 v49-52 v2.21 v46-50 v2.20 v43-48 chromedriver解压后放到Python或者其他配置了环境变量的目录下。
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。
本文主要介绍了如何通过Python的Selenium库来自动化操作浏览器，包括打开浏览器、输入网址、获取页面元素、模拟用户操作等。同时，还介绍了如何通过调用JavaScript来实现更复杂的操作。
def gcd(pair): a, b = pair low = min(a, b) for i in range(low, 0, -1): if a % i == 0 and b % i == 0: return i
最近斗哥在朋友的影响下，接触了自动化测试工具中的一个项目：appium自动化测试脚本。
根据权威机构发布的全球互联网可访问性审计报告，全球约有四分之三的网站其内容或部分内容是通过JavaScript动态生成的，这就意味着在浏览器窗口中“查看网页源代码”时无法在HTML代码中找到这些内容，也就是说我们之前用的抓取数据的方式无法正常运转了。解决这样的问题基本上有两种方案，一是JavaScript逆向工程；另一种是渲染JavaScript获得渲染后的内容。
如今，网上的爬虫教程可谓是泛滥成灾了，从urllib开始讲，最后才讲到requests和selenium这类高级库，实际上，根本就不必这么费心地去了解这么多无谓的东西的。只需记住爬虫总共就三大步骤：发起请求——解析数据——存储数据，这样就足以写出最基本的爬虫了。诸如像Scrapy这样的框架，可以说是集成了爬虫的一切，但是新人可能会用的不怎么顺手，看教程可能还会踩各种各样的坑，而且Scrapy本身体积也有点大。因此，本人决定亲手写一个轻量级的爬虫框架————looter，里面集成了调试和爬虫模板这两个核心功能，利用looter，你就能迅速地写出一个高效的爬虫。另外，本项目的函数文档也相当完整，如果有不明白的地方可以自行阅读源码（一般都是按Ctrl+左键或者F12）。
web driver 是可以直接操作浏览器的driver, 根据不同的浏览器，需要不同的driver,下面列出了一些可用的web driver的镜像地址： chrom浏览器的web driver（chromedriver.exe）：http://npm.taobao.org/mirrors/chromedriver/ firefox（火狐浏览器）的web driver （geckodriver.exe）：https://github.com/mozilla/geckodriver/releases IE(IEDriverServer_Win32_3.9.0.zip 是32位的3.9.0 driver): http://selenium-release.storage.googleapis.com/index.html web自动化测试中，可以通过webdriver的API，向浏览器发送相应的request, 然后实现自动测试，比如自动点击，自动填写，自动滚动，自动切换窗口/标签页等。 但是如上所述，不同的浏览器有不同的web driver. 那么自然也就有不同的API提供，所以对于同一个功能，那么就需要基于不同的driver,学习不同的API,这操作起来，岂不是头疼？ 在python中，我们只需要按照如下导入webdriver, 就可以轻松用一种方式来应付各种不同的web driver了:
尽管现代的网站多采取前后端分离的方式进行开发了，但是对直接 API 的调用我们通常会有 token 的限制和可以调用频率的限制。
在前一章中，我们了解了 Ajax 的分析和抓取方式，这其实也是 JavaScript 动态渲染的页面的一种情形，通过直接分析 Ajax，我们仍然可以借助 requests 或 urllib 来实现数据爬取。
使用Selenium进行测试自动化已使全球的网站测试人员能够轻松执行自动化的网站测试。Webdriver是Selenium框架的核心组件，您可以使用它执行自动跨浏览器测试针对不同类型的浏览器（例如Google Chrome，Mozilla Firefox，Safari，Opera，Internet Explorer，Microsoft Edge等）访问您的网站或Web应用程序。与其他Web自动化工具/框架相比，使用Selenium Webdriver执行测试自动化的主要优势是支持多种编程语言，例如Python，Java，C，Ruby，PHP，JavaScript，.Net，Perl，Groovy等。
Selenium是一款用于测试Web应用程序的经典工具，它直接运行在浏览器中，仿佛真正的用户在操作浏览器一样，主要用于网站自动化测试、网站模拟登陆、自动操作键盘和鼠标、测试浏览器兼容性、测试网站功能等，同时也可以用来制作简易的网络爬虫。
将将要爬去的url放在一个队列中，这里使用标准库Queue。访问url后的结果保存在结果队列中
本文深入探讨了使用Selenium库进行网页自动化操作，并结合2Captcha服务实现ReCAPTCHA验证码的破解。内容涵盖Selenium的基础知识、验证码的分类、2Captcha服务的使用，以及通过实例进行的详细讲解，最后对实践进行总结和优化思考，为读者提供了一条完整的验证码破解实践路线图。
Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。本节中，就让我们来感受一下它的强大之处吧。 1. 准备工作 本节以Chrome为例来讲解Selenium的用法。在开始之前，请确保已经正确安装好了Chrome浏览器并配置好了ChromeDriver。另外，还需要正确安装好Python的Selenium库，详细的安装和配置过程可以参考第
https://github.com/SeleniumHQ/selenium https://www.selenium.dev/documentation/en/
在现代Web应用程序开发中，自动化浏览器测试成为了不可或缺的一部分。为了使测试更加高效、可靠，我们需要使用一些工具，例如Selenium和Playwright。这两个工具都是基于Python的自动化测试框架，本文将介绍它们的原理、架构、优劣对比以及代码实例。
什么是webdriver？ webdriver是一个web自动化测试框架，不同于selenium IDE只能运行在firefox上,webdriver能够在不同的浏览器上执行你的web测试用例。其支持的浏览器有：Firefox、Chrome、IE、Edge、Safari、Opera、phantomjs等等。 webdriver支持使用不同的编程语言来写测试脚本，这是selenium IDE所无法做到的。对于测试人员来说至少具备： 掌握编程语言的判断分支语法 掌握基本的循环语法 webdriver支持的编程语
自从发现 Selenium 这块新大陆后，许多异步加载、js加密、动态Cookie等问题都变得非常简单，大大简化了爬虫的难度。
使用 Selenium 进行自动化操作时，会存在很多的特殊场景，比如会修改请求参数、响应参数等。
Selenium一直都是Python开源自动化浏览器工具的王者，但这两年微软开源的PlayWright异军突起，后来者居上，隐隐然有撼动Selenium江湖地位之势，本次我们来对比PlayWright与Selenium之间的差异，看看曾经的玫瑰花Selenium是否会变成蚊子血。
《论语》有云：工欲善其事，必先利其器。在开始具体的自动化测试之前，我们需要做好更多的准备，包括以下几个方面：
使用chrome浏览器对webview进行手工查看，伴随着业务增多，数量加大，手工操作的速度会无法跟上业务增长，此时需要自动化方法测试webview性能。
请注意，本文编写于 1727 天前，最后修改于 996 天前，其中某些信息可能已经过时。
大多数网站都会定义一robots.txt文件，这样可以了解爬取该网站时存在哪些限制，在爬取之前检查robots.txt文件这一宝贵资源可以最小化爬虫被封禁的可能，而且还能发现和网站结构相关的线索。
Selenium是一个用于web自动化测试的框架，在使用Ajax请求数据的页面中，会出现 sign ,token等密钥，如果考虑去激活成功教程可能花费的精力较多，所以考虑借助使用Selenium框架来实现数据爬取。
现在都看懂了吧！就是简单的Python和selenium融合，做的二次开发，使用起来比原来的selenium还要简单！
JavaScript 是一种脚本语言，有的场景需要使用 js 脚本注入辅助我们完成 Selenium 无法做到的事情。
涉及工具/包：Fiddler、Burpsuite、Js2Py、Closure Compiler、selenium、phantomjs、sqlmap 摘要： 记录分析某音乐类App评论相关API的过程，以及一些工具/包的基本使用（部分工具对最后尝试没有影响，但在其它场景或许有用），最后结合sqlmap进行注入尝试。本文对于sql注入没有深入展开（水平不够…）。 想法来源：本想写个程序获取零评论的歌曲，去占沙发…分析发现获取评论的POST请求参数有点复杂…既然花时间研究了，顺便进行一下sql注入的尝试。 目录：
Selenium 是一个用于自动化浏览器操作的工具集。它通过模拟用户在浏览器中的行为，如点击、输入、表单提交等，来实现自动化测试和网页数据抓取等功能。Selenium 针对不同的浏览器提供了不同的 WebDriver 接口，如 ChromeDriver、GeckoDriver（Firefox）、WebDriver（Safari）等。
前文回顾： 「Python爬虫系列讲解」一、网络数据爬取概述 「Python爬虫系列讲解」二、Python知识初学 「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试 「Python爬虫系列讲解」四、BeautifulSoup 技术 「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息 「Python爬虫系列讲解」六、Python 数据库知识 「Python爬虫系列讲解」七、基于数据库存储的 BeautifulSoup 招聘爬取
Selenium 是一个web的UI自动化测试工具，本质是通过驱动浏览器，模拟用户的操作
Selenium系列文章已经基本涵盖了主要的知识点，至于PO模式，发现有篇文章写的挺好的，后续转载分享过来，哈哈。Python Web UI自动化技术就要告一段落了，接下来打算写Django Web开发相关的文章，希望有兴趣的同学可以关注、一起学习，最后的目标是基于Django开发一套简易系统作为系列文章的总结。然后再继续网络爬虫、数据分析。。。好吧，感觉好多，而且只能靠业余时间来整。。。
读了虫师《Selenium 2自动化测试实战 基于Python语言》一书，感触颇深，内容非常丰富。现整理下来，供后续学习参考使用。本次主要整理的是元素浏览器控制之二。内容在“Selenium WebDriver API 学习笔记（二）：浏览器控制”基础上添加。
由于计算机上的许多工作都涉及到上网，如果你的程序能上网就太好了。网络抓取是使用程序从网络上下载和处理内容的术语。例如，谷歌运行许多网络抓取程序，为其搜索引擎索引网页。在这一章中，你将学习几个模块，这些模块使得用 Python 抓取网页变得很容易。
摘要: 本文介绍了Web Scraping的基本概念的相关的Python库，并详细讲解了如果从腾讯体育抓取欧洲联赛的详细数据的过程和代码。为下一步的大数据分析的做好准备。 背景 Web Scraping 在大数据时代，一切都要用数据来说话，大数据处理的过程一般需要经过以下的几个步骤 数据的采集和获取 数据的清洗，抽取，变形和装载 数据的分析，探索和预测 数据的展现 其中首先要做的就是获取数据，并提炼出有效地数据，为下一步的分析做好准备。 数据的来源多种多样，以为我本身是足球爱好者，而世界杯就要来了，所以我
Selenium发展至今已经到selenium3，以及即将面世selenium4，它的项目进展可以看这里: https://github.com/SeleniumHQ/selenium/projects/2。我们平时可能经常使用selenium框架，但是对它的原理及渊源可能不清楚，下面我整理了一份关于selenium的前世今生。
Selenium Python提供了一个简单的绑定式API来使用Selenium WebDriver编写功能/验收测试。通过Selenium Python API，您可以以一种直观的方式访问Selenium WebDriver的所有功能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
