近年来，随着互联网行业的发展，互联网的影响力逐渐上升。这也归功于技术水平的提高，研发出了越来越多用户体验良好的应用程序。此外，从网络应用程序的开发到测试，自动化在整个过程中的使用也越来越普及。网络爬虫工具越发流行。
上次写了一个中国商标网的爬虫，最后呢，用了很笨的办法，跳过了一个反爬验证，总是有那么点感觉，这个博主好水啊，所以呢，这个问题必须得解决，至少在面上能看的过去。
个册三个部分的PDF数据来源不同，生产逻辑独立由不同的服务生产，最终将三份PDF合并为一份，还要支持班级所有学生批量生产和压缩打包，所以这个功能在技术角度最主要的特征就是环节多、耗时长：
Scrapy框架是一个强大且灵活的Python网络爬虫框架，用于快速、高效地爬取和提取网页数据。然而，对于一些使用复杂动态渲染技术的网站，Scrapy可能无法直接处理。为了解决这个问题，可以使用Puppeteer渲染引擎来处理动态页面。本文将向您介绍Puppeteer渲染引擎的基本原理和使用方法，以帮助您深入了解Scrapy框架并开发出更强大的网络爬虫。
在 Playwright 之前，我一般会使用 Selenium 或者 Puppeteer 来进行浏览器自动化操作。然而，Selenium 经常会有一些奇怪的 bug, Puppeteer 则是没有官方 Python 版，非官方版本也只有 async 版本，并且也是有一些奇怪的 bug. 另外，众所周知，Python 的 Async API 并不是那么好使。
Electron简介 Electron是一个开源的框架，用于构建跨平台的桌面应用程序。它由GitHub开发并于2013年首次发布。Electron允许开发人员使用Web技术（如HTML、CSS和JavaScript）来构建桌面应用程序，同时可以在Windows、macOS和Linux等操作系统上运行。
有同学问：总会听到身边的大佬们谈到架构，感觉很高级，架构到底是一个什么样的东西呢？
本篇文章聊聊如何使用 Playwright 进行测试用例的录制生成，以及如何在Docker 容器运行测试用例，或许是网上最简单的入门教程。
下面，简单介绍一下今天所讲的一些内容，首先是，什么是爬虫？以及为什么要有爬虫，然后是怎么去做爬虫
第四篇文章，来聊聊 Golang 生态中如何“遥控”浏览器，更简单、可靠的使用基于 CDP （Chrome DevTools Protocol）协议的浏览器作为容器，获取诸如微博、B 站 这类动态渲染内容信息，将它们转换为 RSS 订阅源。
文主要是介绍使用prerender-spa-plugin插件在针对前端代码进行预渲染。
前边宏哥拖拽有提到那个反爬虫机制，加了各种参数，以及加载js脚本文件还是有问题，偶尔宏哥好像发现了解决问题的办法，看到了黎明的曙光，宏哥就说试一下看看行不行，万一实现了。结果宏哥试了结果真的OK啊，但是宏哥第一次运行可以，后边就不行了，然后将编辑器关闭重启，再次运行又可以，宏哥猜测可能是缓冲问题吧，但是具体原因还是没有查到。所以就加更一篇来记录是如何解决的。而且最近有一些爬虫用户私信给宏哥留言：在使用 playwright 的时候，提到 playwright 默认是用无痕模式打开的浏览器，很多网站会有反爬机制，使用无痕模式打开的时候功能无法正常使用。问宏哥有没有好的办法。宏哥答复暂时也没有好办法，也不知道宏哥这种解决方法会不会帮到他们，或者对他们有参考价值。
页面对象模型(Page Object Model)是一种设计模式,用于表示网页中的对象。在Playwright中,我们可以通过Page对象的Query Selector API 查找页面元素,并用它们创建页面对象模型。
在前面的文章中，我们已经实现了编辑器的功能，并且数据可以保存到云数据库，接下来我们需要生成缩略图的功能，目前掘金的的 code pen 还没有缩略图的功能，这是否是一个挑战呢？
许多爬虫初学者在接触到无头浏览器的时候都会有一种如获至宝的感觉，仿佛看到了爬虫的终极解决方案。无论是所有爬虫教程中都会出现的PhantomJS、Selenium，亦或是相对冷门的Nightmare，到后来居上的Puppeteer，都能够作为爬虫工程师的利刃，撕开反爬的一道道屏障。无头浏览器难道就是爬虫的终点了吗？那必然不是，否则各位爬虫工程师就只值3000块一个月了。
这是一个新坑的开始，弃坑的事情其实也做过，当年考虑把Jmeter用7天速成宝典的方式重新写一遍，最后也不了了之了，毕竟一旦这事情做起来没乐趣了，也就少了动力了。
前线客服传来消息 — “用户反馈一打开我们的 App，就直接闪退了”，刚听到这个消息，我很吃惊，上一期发的新版本 QA 都有验证过。难道是因为功能权限的问题导致的，赶紧跟客服确认具体情况。原来是客户前几天都能正常使用 App，今天一打开就莫名闪退了。刚了解清楚具体情况，一下子闪退的消息，就如滔滔江水一涌而来，随后也就开始了 iOS 证书过期填坑之旅。
市面上有很多不同的浏览器，每种浏览器都有数百万用户。因此，在构建一个网站或 Web 应用程序时，就需要测试它与不同浏览器的兼容性。最好、最方便的方法是使用跨浏览器检查工具。
Web自动化测试在保证质量、提升效率、软件开发加速迭代上起到关键作用，它已经成为现代软件测试中不可或缺的一部分，今天给大家介绍推荐几款常用的Web自动化测试工具。
我们知道，在写爬虫的过程中，如果总是使用同一个 IP，很容易就会被网站识别并封禁，所以需要使用代理 IP 并经常更换。
上一篇已经将playwright的元素定位大法基本介绍的差不多了，但是在Web的UI自动化的测试中，我们通常需要使用一些方法来操作浏览器，今天就跟随学习了解一下。这一篇宏哥主要是介绍一下，在自动化测试的时候，我们常见的一些浏览器操作有哪些，宏哥将会一一介绍和讲解。
有很多人私信留言宏哥问能不能介绍一下Playwright这款自动化神器的相关知识，现在网上的资料太少了。其实在各大博客和公众号也看到过其相关的介绍和讲解。要不就是不全面、不系统，要不就是系统全面但是人家是收费的。当然了宏哥接下来也可能介绍的不全面或者不系统，能力有限望大家理解。
这个开源项目主要是为那些想深入研究、学习 Linux 内部工作原理等技术专业人士而设计。其优势在于能够帮助用户更好地理解 Linux 操作系统，并且允许他们自由修改、调整操作系统来满足特定需求。
在做爬虫的时候，总会遇到一些动态网页，他们的内容是 Ajax 加载甚至是加密的。虽然说对于一些大站来说，分析接口是值得的，但是对于众多的小网站来说，一个一个分析接口太繁琐了，这时候直接使用浏览器渲染就简单得多了。
在 JavaScript 逆向过程中，我们可能找到了一些入口，但是深入追踪下去，就发现这个过程过于复杂，调用层级越来越深，最终很难完全把整个过程完整还原出来，不得不放弃。
以下这篇文章首发于腾讯云开发者，是一篇应邀写的约稿，大概前后用了半个小时，仓促之下代码示例及行文措词都非常朴素。现实中真实的项目是绝不会如此简单的，但越简单的示例，越容易让读者抓住重点，这是我一直坚持的教程撰写风格。
导语 | Python 作为一种极具可读性和通用性的编程语言，我们在日常开发中可以使用它来制作一些小项目，有效提升工作效率。今天，我们特邀了微信学堂专题讲师、腾讯云 TVP 李艺老师，他将为我们带来手把手教学用 50 行代码调用自己的 GPTs。
在我以前的一篇文章：一日一技：如何正确移除Selenium中window.navigator.webdriver的值，我讲到了如何在Selenium启动的Chrome中，通过设置启动参数隐藏 window.navigator.webdriver，驳斥了网上垃圾文章中流传的使用JavaScript注入的弊端。
# 第6期 | 打开新世界大门，50 行 Python 代码调用自己在 ChatGPT 创建的私有 GPTs
这个系列的文章也讲解和分享了差不多三分之一吧，突然有小伙伴或者童鞋们问道playwright有没有截图的方法。答案当然是：肯定有的。宏哥回过头来看看确实这个非常基础的知识点还没有讲解和分享。那么在这个契机下就把它插队分享和讲解一下。Playwright提供了一个截屏的API：page.screenshot。使用该API，只需要指定截图的图片的保存路径及文件名即可。如果仅指定文件名，默认保存在当前目录。
有些小伙伴或者童鞋们私信留言说自己是在公司局域网办公，或者公司为了安全对网络管控比较严格（尤其是一些大的国企、央企），总之就是一句话无法连到外网去在线下载，宏哥刚看到留言时觉得这问题还留言问啊，你找个有网的电脑下载好安装包然后安装就可以用了。（第一种情况及解决办法：带要搭建环境的电脑到有网的地方在线安装即可。第二种情况及解决办法：如果电脑无法带到有网的地方进行在线安装，那就用别的电脑下载好安装包，用U盘将安装包拷贝到要搭建的电脑安装即可。），相信绝大多数遇到的都是第二种情况。第一种情况就不问宏哥了。后来宏哥就按第二种情况的思路实践了一下，为了避免小伙伴或者童鞋们走宏哥的老路踩坑，于是就觉得水一篇教大家在本地局域网部署好playwright 环境的我文章。
Playwright 是微软在 2020 年初开源的新一代自动化测试工具，它的功能类似于 Selenium、Pyppeteer 等，都可以驱动浏览器进行各种自动化操作。它的功能也非常强大，对市面上的主流浏览器都提供了支持，API 功能简洁又强大。虽然诞生比较晚，但是现在发展得非常火热。
最近有一些爬虫用户在使用 playwright 的时候，提到 playwright 默认是用无痕模式打开的浏览器，很多网站会有反爬机制，使用无痕模式打开的时候功能无法正常使用。 playwright 提供了 launch_persistent_context 启动浏览器的方法，可以非无痕模式启动浏览器。
（文末福利）在我以前的一篇文章：一日一技：如何正确移除Selenium中window.navigator.webdriver的值，我讲到了如何在Selenium启动的Chrome中，通过设置启动参数隐藏 window.navigator.webdriver，驳斥了网上垃圾文章中流传的使用JavaScript注入的弊端。
目前已经将公司selenium框架构建的web ui自动化项目使用playwright进行了重构，个人对playwright的使用也比之前更加熟悉，在此重新汇总一下，后续如果应用了本文中没有提及的知识，会继续更新这个系列。
当年在百度搜索团队的时候做的一个小工具，可以把一些日常工作自动化，确实解决了一些问题。正值五一，分享点有趣的东西。希望能给大家一些启发。
Hi，大家好，我是CoCo。市面上有很多不同的浏览器，每种浏览器都有数百万用户。因此，在开发一个网站或 Web 应用程序时，就需要测试它与不同浏览器的兼容性。最好、最方便的方法是使用跨浏览器检查工具。
之前有写过一篇selenium打开指定浏览器进行自动化操作的文章（链接见后文），但那篇需要自己通过bat文件去启动浏览器。而且还要下载对应的驱动。
1、提问：南哥，在我的理解里，python面向对象编程。所以有一个callable的对象，在（）内传参的语法蛮亲切的。但是像def ，class ，for，if，py2里的print，async这些 在后面敲一个空格，然后继续编写的（不知道叫什么，姑且叫关键词？）应该如何去理解，或者说自己如何去写一个东西 xxx然后敲个空格，而不是括号，继续编写。
上篇文章我们介绍了使用playwright下载文件的方法，本篇文章我们将介绍使用playwright上传文件。
一提到 UI 自动化测试工具，首要推荐的必属是 Selenium，其优势在于跨平台、跨语言、完全开源、对商业用户也没有任何限制、支持分布式、拥有成熟的社区与学习文档等，目前已经迭代更新到 4 版本。那么缺点也有，比如环境配置、加载效率低、运行速度慢等。
前者本质上就是基于Selenium的自动化测试工具，后者在测试人员这个圈子也是未能撼动Selenium的地位，我认为有两个原因，一是Selenium是一个非常成熟的自动化测试工具，有大量的学习资料；另一方面selenium支持Python，没错Python以其简单的语法已经成为了测试人员学习编程语言的不二之选。
截图的代码很简单，比如如果我想实现对百度搜索框部分截图怎么做呢，查询page.screenshot api 可以看到其api说明中包含clip 选项，用于设置截图的x,y,width,hegiht.通过查看元素可以看到搜索框部分的form id 为 form 。
在C#程序中，经常会有一些耗时较长的CPU密集型运算，如果直接在 UI 线程执行这样的运算就会出现UI不响应的问题。解决这类问题的主要途径是使用多线程，启动一个后台线程，把运算操作放在这个后台线程中完成。但是原生接口的线程操作有一些难度，如果要更进一步的去完成线程间的通信就会难上加难。
一个多智能体元编程框架，给定一行需求，它可以返回产品文档、架构设计、任务列表和代码。这个项目提供了一种创新的方式来管理和执行项目，将需求转化为具体的文档和任务列表，使项目管理变得高效而智能。对于需要进行规划和协调的项目，这个框架提供了强大的支持.
半年前，偶然在视频号刷到某机构正在直播讲解Playwright框架的使用，就看了一会，感觉还不错，便被种草，就想着自己有时间也可以自己学一下，这一想着就半年多过去了。
这个题目有点小，本篇博客真正谈论的应该是服务端生成图表的简单方案，这里面有两个关键字：服务端 & 简单，我们知道基于js有很多的图表库，知名的如D3、echarts 、highcharts等等，对于做数据可视化方向的同学可能自己都做过此类chart的研发，无论从零构建还是使用已有的轮子，基本上都是基于js在做，因为大部分数据可视化产品都是to B的产品。
前段时间线上的一个使用 Google Puppeteer 生成图片的服务炸了，每个 docker 容器内都有几千个孤儿僵死进程没有回收，如下图所示。
在做自动化的时候，每次都会新打开一个browser, 于是得重新登录， 有时候登录是件麻烦且费时间的事情。 以前用webdriver的时候，先登录，存储cookie信息，下次直接带上就行了。 如果用Playwright，该怎么办呢？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
