如何利用 Playwright 对已打开的浏览器进行爬虫！

大家好，我是安果！

之前写过一篇关于如何利用 Selenium 操作已经打开的浏览器进行爬虫的文章

如何利用 Selenium 对已打开的浏览器进行爬虫！

最近发现很多人都开始摒弃 Selenium，全面拥抱 Playwright 了，那如何利用 Playwright 进行爬虫，以应对一些反爬严格的网站呢？

对 Playwright 不了解的小伙伴，可以看很早之前写过的一篇文章

微软最强 Python 自动化工具开源了！不用写一行代码！

具体操作步骤如下：

PS：这里以 Chrome 为例，其他浏览器类似

1-1  查看本地 Chrome 浏览器的的安装地址

比如：C:\Program Files\Google\Chrome\Application\chrome.exe

1-2  命令行启动浏览器

打开 CMD 终端，输入下面命令行打开 Chrome 浏览器

其中

--remote-debugging-port 端口号

指定浏览器调试端口号

PS：这里可以随机指定一个端口号，不要指定为已经被占用的端口号

--user-data-dir 用户数据保存目录

指定浏览器的用户数据保存目录

注意：需要设置到一个全新的目录，不要影响 Chrome 浏览器系统用户的数据

--incognito 用户数据保存目录

无痕模式打开，默认非无痕模式

--start-maximized

窗口最大化显示

--new-window  目标地址

直接打开目标网站

1-3 编写代码操作浏览器

使用命令行打开 Chrome 浏览器后，就可以使用 Playwright 编写代码，继续对浏览器进行操作

注意：必须保证上面的操作只打开一个浏览器窗口，方便我们进行操作

2  实战一下

目标：使用 Playwright 操作上面命令行打开的浏览器页面，根据关键字进行搜索，获取商品标题及地址

需要注意的是，通过 connect_over_cdp 指定的端口号要和浏览器调试端口号保持一致

推荐阅读

如何利用 Selenium 对已打开的浏览器进行爬虫！

微软最强 Python 自动化工具开源了！不用写一行代码！

最全总结 | 聊聊 Selenium 隐藏浏览器指纹特征的几种方式！

END