本文介绍了如何搭建使用Selenium爬取JS渲染页面的环境，并分享了PhantomJS、Selenium和Python的下载和安装方法。通过使用PhantomJS和Selenium，可以自动化地爬取JS渲染的页面，并提取出所需的信息。
Selenium is an umbrella project for a range of tools and libraries that enabled and support the automation of web browsers.
在测试运行期间获取错误的截图，一方面可以给自己定位错误测试脚本提供方便，另外一方面，可以和开发人员进行有效的沟通，错误的截图不仅仅如此，它有助于调试测试或者创建测试运行的证据。如下是汇总了seleniumwebdriver带有内置方法在测试执行期间获取截图的方法，见如下：
pip 是 Python 包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。
WebDriver可以像用户一样驱动原生浏览器，无论是在本地服务器还是在使用Selenium服务器的远程机器上，都标志着浏览器自动化的一个飞跃。
selenium官方加上第三方宣布支持的驱动有很多种；除了PC端的浏览器之外，还支持iphone、android的driver；大概记录一下selenium支持的各种driver的用途与说明。
爬虫基本流程 发起请求 通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。 获取响应内容 如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容。类型可能有HTML，Json字符串，二进制数据（如图片类型）等类型。 解析内容 得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。 保存数据 保存形式多样
在 2017 我在社区问了一个问题，如何让 .NET Framework 的 WPF 等程序使用 .NET Native 构建以提升速度。在 2019.06 的时候，强大的微软提供了一个好用的库，支持将 .NET Framework 的桌面应用构建时添加 native images 本机映像支持
这是比较有争议的内容，为什么我推荐开源项目的库应该采用开源的 CI 公开进行发布。本文主要来聊安全的问题，本文的观点没法完全让小伙伴信服，只能说是我自己的看法
之前我们介绍了 ajax-hook 来实现爬虫的过程中截获 Ajax 请求，在这里再另外介绍一个工具 BrowserMob Proxy，利用它我们同样可以实现 Selenium 爬虫过程中 Ajax 请求的获取。
selenium是一个模拟浏览器的自动化执行框架，但是如果每次执行都要打开浏览器来处理任务的话，效率上都不高。最重要的是如果安装在Centos7服务器环境下，打开浏览器来模拟操作是更加不合适的，尤其是碰上需要截取网页图片这样的需求。
安装python3.5以上版本，不要装最新版本，最新版本的python可能会有bug，老版本更稳定一些。
使用webdriver-manager解决浏览器与驱动不匹配所带来自动化无法执行的问题
1. 进入Python官方网站：https://www.python.org/downloads/ 下载并安装最新版本的Python(建议安装Python3) 。
环境： Python3.6.5 编译器： Sublime Text 3 联系方式： ke.zb@qq.com 第三方库： seleniu
通过运行 microsoft.botsay 项目文件夹中的 dotnet tool install 命令，从包中安装该工具 ：
#环境配置基于windows操作系统 #学习selenium要有一些HTML和xpth的基础，完全不会的建议先花点时间学点基础（不然元素定位，特别是xpth可能看的有点懵） #HTML : http://www.runoob.com/html/ #xpth: http://www.runoob.com/xpath （一） 环境配置 （1）执行下面的命令（前提：已经安装python环境，可以参考之前发的python笔记（一）） pip install -U selenium （2）http://
尽管依赖问题非常棘手，但明白包管理以及包编译安装原理有助于我们深刻理解计算机基本原理，避免成为一个调包侠。
前文提到：Selenium4前线快报，在写这篇文章的时候，Selenium 4.0.0-alpha-7是最新的Selenium 4 (Alpha)版本，可在Selenium官方网站上下载。不同语言对应的Selenium 4如下所示：
来源：马哥教育链接：https://mp.weixin.qq.com/s/wwBt5H68tHmf_lHXrd_eSQ本文是 Linus 写于 1991年10月10日LINUX是什么？LINUX是一个免费类unix内核，适用于386-AT计算机，附带完整源代码。主要让黑客、计算机科学学生使用，学习和享受。它大部分用C编写，但是一小部分是用gnu格式汇编，而且引导序列用的是因特尔086汇编语言。C代码是相对ANSI的，使用一些GNU增强特性（大多为 __asm__ 和 inline）。然而有很多可用于386电脑的unices，他们大部分要花很多钱，而且不附带源码。因此他们是使用计算机的理想选择，但是如果你想了解他们如何工作，那是不可能的。也有一些 Unix 是附带源码的。Minix，Andrew S. Tanenbaum编写的学习工具，已经在大学中作为教学工具使用了很多年了。BSD-386系统是附带源码的，但是有版权限制，而且要花很多钱（我记得起始价格为$995）。GNU内核（Hurd）将会是免费的，但是现在还没有准备好，而且对于了解和学习它们来说有点庞大。LINUX与Minix是最相似的，由于它很小而且不是非常复杂，因此易于理解（嗯…）。LINUX是基于Minix编写的，因此有相当多的相同点，任何Minix黑客在使用LINUX的时候都感觉非常熟悉。不过，没有在项目中使用Minix代码，因此Minix版权没有限制到这个新系统。它也是完全免费的，而且它的版权非常宽松。因此不像使用Minix，它不需要几兆字节大小的区别。LINUX版权虽然是免费的发布版，我还是从以下几个方面限制了LINUX的使用：你可以自由复制和重新发布源码和二进制，只要是：1. 完全开源。因此不能单独发布二进制，即使你只修改了一点。2. 你不能从发布版获取利益。事实上甚至“装卸费用”都是不被接受的。3. 你要保持完整的适当版权。· 根据需要你可能会修改源码，但是如果你发布了新系统的一部分（或者只有二进制），必须将新的代码包含进去。· 除了不包含版权的代码之外，你可能会做一些小的修改。这由你来定，但是如果能将相关内容或者代码告诉我，将不胜感激。对任何使用或者扩展系统的人来说，这应该足够宽松而不会引起任何担忧。如果你有朋友真的不想要源码，只想要一个能运行的二进制，你当然可以给他而不用担心我会起诉你。不过最好只在朋友之间这么做。LINUX运行所需的硬件/软件LINUX是在一个运行Minix的386-AT上开发的。由于LINUX是一个真正的操作系统，而且需要直接与硬件交互来做一些事情，你必须有一个非常相似的系统来让他顺利运行：· 386-AT（PS/2之类是不同的，不能正常运行）· VGA或者EGA屏幕硬件。· 标准AT硬盘接口，IDE盘可以运行（实际上我用的就是这个）。· 正常实模式BIOS。一些机器看起来是用虚-86模式运行启动程序，而且在这样的机器LINUX不会启动和正常运行。LINUX会发展成为一个自给自足的系统，现在需要Minix-386才能正常运行。你需要Minix让初始化启动文件系统，和编译OS二进制。在那之后LINUX是一个自给自足的系统，但是为了做文件系统检查（fsck）和修改之后重编译系统，推荐使用Minix。获取LINUXLINUX现在可以使用匿名ftp从‘nic.funet.fi’的‘/pub/OS/Linux’目录获取。这个目录包含操作系统的所有源码，还有一些二进制文件，因此你可以真正使用系统了。注意！二进制大多是GNU软件，而且版权比LINUX的严格（GNU非盈利性版权）。因此你不能在不发布他们源码的情况下重新发布他们，可以在/pub/GNU中找到。关于GNU非盈利性版权，从任何GNU软件包了解更多。此目录中各类文件如下：· linux-0.03.tar.Z–系统的完全源码，16位tar压缩文件格式。· Linux.tex–这个文件的LATEX源码。· bash.Z–在LINUX下运行的bash二进制文件。这个二进制文件应该放到预留给LINUX文件系统中的/bin/sh下（参见installation）。· update.Z–更新二进制文件，要放到/bin/update。· gccbin.tar.Z–GNU cc二进制文件需要由一个可运行的编译器。这个tar压缩包含有编译器，加载器，汇编程序和支持程序（nm，strip等）。它还包含一个小型的库，可用于大部分程序。· include.tar.Z–让gcc运行的必要include文件。· unistd.tar.Z–unistd库程序的源码（即系统调用接口）。通过这个你可以使用系统独立库源码编译一个大一些的库。· utilbin.tar.Z–各种GNU工具的二进制文件，包括GNU的fileutils，make和tar。也包含克隆emacs的uemacs。· README, RELNOTES-
LINUX是一个免费类unix内核，适用于386-AT计算机，附带完整源代码。主要让黑客、计算机科学学生使用，学习和享受。它大部分用C编写，但是一小部分是用gnu格式汇编，而且引导序列用的是因特尔086汇编语言。C代码是相对ANSI的，使用一些GNU增强特性（大多为 __asm__ 和 inline）。
WebDriver 仅仅提供了下载文件相关的 API，上传文件的 API 并没实现，需要我们自己去实现；而且上传文件需要同时兼容 Win 和Mac OSX 两套操作系统
网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
鉴于你们不喜欢我啰嗦，但是流程呢，我还是要给你们写出来，所以我就单独把它列出来了。
Selenium IDE 通常是从 Chrome 或 Firefox 的 Web 应用商店进行安装的，安装后通过在浏览器的菜单栏中单击其图标来启动它，并进行脚本的录制与编写，之后回放执行该脚本。
给大家介绍一门互联网行业认知课https://www.bilibili.com/video/BV1754y1B7w4/，带你一起深入认识互联网这个行业，为将来的就业铺好路。
关于虚拟机使用系统的博文非常多，虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。如果用U盘启动系统注意（uefi和legacy的区别）。
由于计算机上的许多工作都涉及到上网，如果你的程序能上网就太好了。网络抓取是使用程序从网络上下载和处理内容的术语。例如，谷歌运行许多网络抓取程序，为其搜索引擎索引网页。在这一章中，你将学习几个模块，这些模块使得用 Python 抓取网页变得很容易。
使用Selenium进行测试自动化已使全球的网站测试人员能够轻松执行自动化的网站测试。Webdriver是Selenium框架的核心组件，您可以使用它执行自动跨浏览器测试针对不同类型的浏览器（例如Google Chrome，Mozilla Firefox，Safari，Opera，Internet Explorer，Microsoft Edge等）访问您的网站或Web应用程序。与其他Web自动化工具/框架相比，使用Selenium Webdriver执行测试自动化的主要优势是支持多种编程语言，例如Python，Java，C，Ruby，PHP，JavaScript，.Net，Perl，Groovy等。
1、虽然升级 Zabbix agent 不是强制性的，但建议将其升级，因为Zabbix server和Zabbix proxy 必须具有相同的大版本。
/Applications/Google Chrome.app/Contents/MacOS/Google Chrome
若要安装最新版 dotnet-sos NuGet 包，请使用 dotnet tool install 命令：
估计部分同学没听过这个工具，那先简单介绍下它的背景与作用。 1、PhantomJS 是什么？ PhantomJS是一个基于WebKit的服务器端JavaScript API，它无需浏览器的支持即可实现对Web的支持，且原生支持各种Web标准，如DOM 处理、JavaScript、CSS选择器、JSON、Canvas和可缩放矢量图形SVG。PhantomJS主要是通过JavaScript和CoffeeScript控制WebKit的CSS选择器、可缩放矢量图形SVG和HTTP网络等各个模块。PhantomJS主
Electron简介 Electron是一个开源的框架，用于构建跨平台的桌面应用程序。它由GitHub开发并于2013年首次发布。Electron允许开发人员使用Web技术（如HTML、CSS和JavaScript）来构建桌面应用程序，同时可以在Windows、macOS和Linux等操作系统上运行。
FSArchiver使用两级校验来保护你的数据免受损坏。每个文件的每个块都有一个写在存档中的32位校验和。这样我们就可以识别你的文件的哪个块被损坏了。一旦一个文件被恢复，整个文件的md5校验和将与原始md5进行比较。这是一个128位的校验和，所以它可以检测到所有的文件损坏。如果有一个文件被损坏，FSArchiver会恢复存档中的所有其他文件，所以你不会丢失所有的数据。这与tar.gz非常不同，在那里整个tar是用gzip压缩的。在这种情况下，损坏后写入的数据会丢失。
Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE，Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。
从github上下载Prometheus2.30.0源码，学习scrape原理，通过go build 编译二进制可执行程序，添加promethues.yaml配置文件，启动后，按一般的文档说法，可以直接在浏览器通过http://localhost:9090打开prometheus原生界面查看指标和target信息，实际打开该页面，发现报错：Error opening React index.html: open static/react/index.html: no such file or directory
数据: 视频链接 / 视频标题 2. 抓包分析 通过开发者工具进行抓包分析 I. 打开开发者工具: F12 II. 刷新网页 III. 找到数据链接
前言 在执行用例过程中由于是无人值守的，用例运行报错的时候，我们希望能对当前屏幕截图，留下证据。 在写用例的时候，最后一步是断言，可以把截图的动作放在断言这里，那么如何在断言失败后截图呢？ 一、截图方法 1.get_screenshot_as_file(self, filename) --这个方法是获取当前window的截图，出现IOError时候返回False,截图成功返回True。 filename参数是保存文件的路径。 Usage: driver.get_screenshot_
python 下载地址：https://www.python.org/getit/
1.cmake编辑opencv的源代码路径（带有makelist的目录），生成opencv相关lib文件.configure两次后，点击生成（cmake中选择安装的以依赖库，如果缺少相应的依赖库，就算成功生成了的OpenCV功能也会有问题的，建议的NuGet下载）
开源软件的一个关键优势是任何人都可以阅读源代码并检查其功能。然而，大多数软件，甚至是开源软件，都以编译后的二进制形式下载，这种形式更难以检查。如果攻击者想对开源项目进行供应链攻击，最不可见的方式是替换正在提供的二进制文件，同时保持源代码不变。
查看chrom浏览器的版本,需要下载其对应版本的chrome webdriver.
对于爬虫和反爬一直是矛盾的存在的，今天就一个粉丝提出的爬虫问题梳理一下我对爬虫类问题的解决。
dotnet build [<PROJECT>|<SOLUTION>] [-a|--arch <ARCHITECTURE>]
今天为大家介绍一款基于.NET Core运行时实现的Windows HOOK库，CoreHook。
高级参数配置修改，主要是一些Android和iOS设备，log路径等相关信息的配置。部分参数说明如下：
本文介绍了如何通过Python的Selenium库和Pandas库实现网页数据的爬取，并通过实例讲解了具体的操作步骤。同时，本文还提供了爬取数据时可能遇到的问题及解决方法，如JavaScript渲染问题、数据保存问题等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
