https://www.cnblogs.com/poloyy/category/1693896.html
今天开始学习崔大的「python3网络爬虫开发实战」，把每天学到的知识点记录下来，和大家一起交流、一起进步。
作为 Python 开发人员，您可以使用许多 Web 抓取工具。现在就来探索这些工具并学习如何使用它们。
selenium是测试web应用程序的框架,selenium为没有测试脚本的人提供了(seleniumide)提供了录制/回放的工具，同时它也提供了特定域的语言来编写测试脚本，如c#,java,python等，selenium可以针对最现代的web浏览器运行测试，如firefox,chrome,ie,open等浏览器，selenium可以在windows,linux等平台上部署，selenium同时是开放源码的软件，是在apache2.0许可证下发布。
例如我们搭建了python+selenium开发环境，如何才能快速查看本地webdriver的API文档呢。
Selenium是一个非常流行的Web自动化测试框架，如今Selenium自动化的需求量很大。但是在测试中并不总是建议使用Selenium测试所有的测试场景。作为Web自动化工具，Selenium主要旨在测试不同的Web应用程序在不同浏览器上执行的正确性，但自动化一切是不合理的。
在之前的案例里面，我们学习了使用requests、BeautifulSoup库来爬取豆瓣读书的数据，今天我们要来学习一个新的工具：selenium.
在进行网页数据提取时，经常会遇到网页弹窗验证的情况。这些弹窗验证机制旨在防止机器人或非法爬虫的访问，给爬虫程序带来了一定的挑战。本文将介绍如何使用Selenium库解析网页弹窗验证机制，并提供相应的应对策略。
Selenium是一个Web UI自动化工具。它不提供任何API来建立数据库连接。这取决于你使用Selenium进行自动化的编程语言。
Selenium是一个用于web自动化测试的框架，在使用Ajax请求数据的页面中，会出现 sign ,token等密钥，如果考虑去激活成功教程可能花费的精力较多，所以考虑借助使用Selenium框架来实现数据爬取。
Python 是一种开源编程语言，用于 Web 编程、数据科学、人工智能和许多科学应用。学习 Python 使程序员能够专注于解决问题，而不是专注于语法，其丰富的库赋予它完成伟大任务所需的力量。
项目地址：https://github.com/small99/AutoLink 介绍 AutoLink开源自动化测试集成解决方案. AutoLink是RobotFramework的web集成开发环境. AutoLink支持RobotFramework语法高亮，自动提示等功能. AutoLink可以帮助你轻易的构建web自动化测试脚本、HTTP接口自动化测试脚本以及移动自动化测试脚本. AutoLink完美的支持RobotFramework所有的关键字. AutoLink可以直接应用到你的企业实践中，节省框
OK，很久没更新公众平台了，主要是最近个人事情比较多，有点对不住大家了。关于selenium2的资料，基本介绍完了，想完整看的同学可到百度阅读搜索“selenium-python自动化测试”，我在百度阅读编写的selenium2还在更新中，具体见截图：
Selenium是一款用于测试Web应用程序的经典工具，它直接运行在浏览器中，仿佛真正的用户在操作浏览器一样，主要用于网站自动化测试、网站模拟登陆、自动操作键盘和鼠标、测试浏览器兼容性、测试网站功能等，同时也可以用来制作简易的网络爬虫。
如果仅用Python来处理数据、爬虫、数据分析或者自动化脚本、机器学习等，建议使用Python基础环境+jupyter即可，安装使用参考Windows/Mac 安装、使用Python环境+jupyter notebook
在日常使用App过程中，经常会看到App界面有一些弹窗提示（如下图所示）这些提示元素出现后等待3秒左右就会自动消失，那么我们该如何获取这些元素文字内容呢？
#之前发的 driver.switch_to_alert() 这句虽然可以运行通过，但是会弹出警告信息（这种写法3.x不建议使用） 改成 driver.switch_to.alert就不会了。 （一） 前言 开发人员使用JavaScript 警告或者模态对话框来提示校验错误信息、报警信息、执行操作后的返回信息，甚至用来接收输入值等。 （二） Alert类 Selenium WebDriver 通过Alert 类来操控 JavaScript 警告。 （三） Alert功能及方法 功能/属性 简
Selenium 是功能强大的自动化测试工具集，是支持 Web 浏览器自动化的一系列工具和库的总括项目，一共包括以下三个项目：
requests、selenium、puppeteer，beautifulsoup4、pyquery、pymysql、pymongo、redis、lxml和scrapy框架
查看chrom浏览器的版本,需要下载其对应版本的chrome webdriver.
Selenium是基于Web的最流行的UI自动化测试工具。它提供了一组支持多种平台的公开API（例如Linux，Windows，Mac OS X等）。此外，像Google Chrome，Mozilla Firefox，Internet Explorer和Safari等所有现代浏览器都可以用来运行Selenium测试。它也涵盖了Android平台，其中Appium是实现Selenium Webdriver界面的工具，用于移动自动化。
当测试工程师执行Selenium测试自动化用例时，可能会遇到很多陌生的Exception。在执行测试脚本时，有些Exception可能不是很常见，因为测试用例锁依赖的测试框架拥有足够健壮性以应对此类场景。这些未被预期的场景被称为异常场景，在使用Selenium进行自动浏览器测试时，通常来讲会遇到很多异常场景。
Selenium4前线快报中提到了Selenium 4的最新进展，伴随着Selenium 4各种功能的增强，最近的版本中也包含了一些旧API的更改和启用。如果你准备从Selenium 3升级到Selenium 4，那么最好留意这些更新。
在第一步抓取页面的过程中，我们就需要模拟浏览器向服务器发出请求，所以需要用到一些 Python 库来实现 HTTP 请求操作，在本书中我们用到的第三方库有 Requests、Selenium、Aiotttp 等。
Selenium测试自动化的主要目的是加快测试过程。在大多数情况下，使用 Selenium 的自动化测试比手动测试执行得特别好。在实际自动化测试实践中，我们有很多方式可以加速Selenium用例的执行。
前边讲解完八大元素定位大法，今天宏哥讲解和分享一下三大延时等待。宏哥这里简称“三等八定”。很多人在群里问，这个下拉框定位不到、那个弹出框定位不到…各种定位不到，其实大多数情况下就是两种问题：1. 有frame，2. 没有加等待。殊不知，你的代码运行速度是什么量级的，而浏览器加载渲染速度又是什么量级的，就好比闪电侠和凹凸曼约好去打怪兽，然后闪电侠打完回来之后问凹凸曼你为啥还在穿鞋没出门？凹凸曼分分中内心一万只羊驼飞过，欺负哥速度慢，哥不跟你玩了，抛个异常撂挑子了。 那么怎么才能照顾到凹凸曼缓慢的加载速度呢？只有一个办法，那就是等喽。说到等，又有三种等法，且听宏哥一一道来。
本文主要介绍selenium在爬虫脚本的实际应用。适合刚接触python，没使用过selenium的童鞋。(如果你是老司机路过的话，帮忙点个star吧)
现在都看懂了吧！就是简单的Python和selenium融合，做的二次开发，使用起来比原来的selenium还要简单！
开源，使用者众多，功能强大，方法封装使用便利，可以兼容多种平台和多种开发语言等优点。
在日常的UI自动化测试中，经常会遇到网页弹出警告框，WebDriver可以轻松处理JavaScript对话框。 JavaScript弹出的对话框常见的有三种：alert、confirm、prompt。接下来分别针对以上类型的对话框进行处理操作。
在此有关Selenium中警报处理的WebDriverIO教程中，我将向您展示如何在WebDriverIO中处理警报和弹出窗口以及叠加模式。我还将介绍自动化期间将要遇到的各种类型的警报，以及使用WebDriverIO在Selenium中处理警报时需要遵循的关键点。
在进行爬虫开发时，有时我们需要模拟用户的真实行为来避免被反爬虫机制限制。在本文中，我将与大家分享一些有用的技巧，帮助你实现自动爬虫的行为模拟，包括随机用户输入、滚动和点击自动化。这些技巧将增加你的爬虫的真实性和可靠性。
Selenium是一种流行的自动化测试工具，它可以自动化地模拟用户在Web应用程序中的操作，包括点击、输入、选择等。Selenium最初由Jason Huggins于2004年创建，旨在解决常见的Web应用程序自动化测试挑战。Selenium的成长历程经历了多次技术变迁和架构的调整，今天我们将探讨这些变化。
每天一个小实例1（动态页面模拟点击，并爬取你想搜索的职位信息） 1 from selenium import webdriver 2 from bs4 import BeautifulSoup 3 4 # 调用环境变量指定的PhantomJS浏览器创建浏览器对象 5 driver = webdriver.PhantomJS() 6 7 #访问的网址，我这里是登录的boss直聘 8 driver.get('https://www.zhipin.com/') 9 10 #模拟在搜索框输入
D:\Python27; D:\Python27\Lib; D:\Python27\Scripts;
Selenium是一个常用的自动化测试工具，可用于模拟用户操作浏览器。在Web开发和爬虫中，经常需要从网页中获取链接地址（href），而Selenium提供了各种方式来实现这个目标。 在本篇文章中，我将主要讲解使用Selenium的find_element_by_xpath方法来获取网页中的href属性值。
本章将介绍使用Selenium和PhantomJS两种工具用来加载动态数据，更多内容请参考：Python学习指南 Selenium Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动化操作，不同是Selenium可以直接运行在浏览器上，它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。 Selenium可以根据我们的指令，让浏览器自动加载页面，获取需要的页面，甚至页面截屏，或
一看标题，是否不禁思考：Selenium有集美？是不是Selenium的单词写错了？
web自动化测试作为软件自动化测试领域中绕不过去的一个“香饽饽”，通常都会作为广大测试从业者的首选学习对象，相较于C/S架构的自动化来说，B/S有着其无法忽视的诸多优势，从行业发展趋、研发模式特点、测试工具支持，其整体的完整生态已经远远超过了C/S架构方面的测试价值。接上一篇文章，我们将继续深入探讨Selenium的相关使用方法与技巧。
一、什么是selenium？ > 一个web自动化测试工具； 二、主流的自动化工具： > QTP:收费 支持（支持web、桌面软件自动化） > selenium:免费，开源 只支持web项目 > Robot frameword: 基于Python扩展关 键字驱动自动化工具 注意：要是用selenium自动化工具，要先下载安装selenium 一、web自动化环境部署 1.1 selenium安装 1、安装 在cmd 直接输入 ：pip install selenium 2、卸载： 在cmd输入：pip uninstall selenium 3、查看： pip show selenium 或者 pip list pip 是python中包管理工具（可安装，可卸载，查看python工具），使用pip的时候必须联网 有的输入 pip install selenium 会提示出现 ‘pip’ 不是内部或外部命令，也 不是可运行的程序或批处理文件。产生这个原因python环境内部没有 pip 路径，则需要我们收到导入 解决方法： 1、找到我们python工具中的pip所在文件夹，复制其路径
Selenium Python提供了一个简单的绑定式API来使用Selenium WebDriver编写功能/验收测试。通过Selenium Python API，您可以以一种直观的方式访问Selenium WebDriver的所有功能。
作为一名QA，过去一年是我的软件质量知识体系和自动化测试知识体系收获最丰的一年，让我对于软件质量和自动化测试有了一个更高层次的认识。所以我写下了一些自己更新了的知识，以及在和其他公司的QA交谈之后发现的一些他们应该更新的知识。借此希望能对各位看官起到一些提示或者补充作用，当然我也希望各位与我进行联系，并共同探讨未来的QA到底应该具有什么样的能力和知识体系。 Web应用程序视觉感知测试 视觉感知测试，对于很多QA，包括我在2013以前对于它的认知都是手动测试领域的一个成员。在这个Web系统爆炸的年代，Web
Selenium作为一个强大的自动化测试工具，其在网络爬虫领域也展现出了许多技术优势。首先，Selenium可以模拟浏览器行为，包括点击、填写表单、下拉等操作，使得它能够处理一些其他爬虫工具无法应对的情况，比如需要登录或者页面使用了大量JavaScript渲染的情况。其次，Selenium支持多种浏览器，包括Chrome、Firefox、Safari等，这使得开发者可以根据实际需求选择合适的浏览器进行爬取，提高了灵活性。此外，Selenium还可以执行JavaScript，这对于需要处理JavaScript渲染的网页来说至关重要。总之，Selenium在网络爬虫领域具有独特的优势，为开发者提供了强大的工具来应对各种复杂的网页情况，使得爬虫开发变得更加便捷和灵活。
本文用到的文件的下载地址 百度网盘链接: https://pan.baidu.com/s/1wIda-wUz4X_Ck72xgZ6Ddg 提取码: etaa
Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。
免责声明：本公众号发布的文章均转载自互联网或经作者投稿授权的原创，文末已注明出处，其内容和图片版权归原网站或作者本人所有，并不代表安全+的观点，若有无意侵权或转载不当之处请联系我们处理，谢谢合作！
这里有一个坑：注意上图中红框信息，这里要选择自己安装的jdk，不然后续项目中会有莫名其妙的报错。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
