【python自动化】playwright长截图&切换标签页&JS注入实战

梦无矶小仔

发布于 2023-09-08 17:10:17

1.5K0

发布于 2023-09-08 17:10:17

文章被收录于专栏：梦无矶的测试开发之路梦无矶的测试开发之路

前言

「当前教程使用的playwright版本为1.37.0,selenium版本为3.141.0」

本文预计阅读时长：25min

官方文档：https://playwright.dev/python/docs/screenshots

playwright各类截图源码阅读

通过阅读源码：playwright -> sync_api -> _generated.py可知，可以在以下三种方式下进行screenshots截图。

返回值均为字节bytes

class ElementHandle(JSHandle):（官方不建议或弃用）
 def screenshot

class Page(SyncContextManager):（官方推荐整个页面截图）
 def screenshot

class Locator(SyncBase):（官方推荐元素定位截图）
 def screenshot

ElementHandle类下的截图

「官方建议不要用此方式，请使用Locator对象进行操作，后续可能会弃用此方式。」

该方法会截取页面的屏幕截图，并根据该特定元素的大小和位置进行裁剪。

如果该元素被其他元素覆盖，则在截图上实际上不可见。

如果该元素是可滚动容器，则截图上只会显示当前滚动的内容。

该方法在进行屏幕截图之前会等待可操作性检查，然后将元素滚动到视图中。

如果该元素从 DOM 中分离，该方法将抛出错误。

「用法」

element_handle.screenshot()
element_handle.screenshot(**kwargs)

「参数」

参数	类型	含义
timeout	Union[float, None]	最大等待时间，以毫秒为单位。默认为30000（30秒）。传入0以禁用超时。browser_context.set_default_timeout()或page.set_default_timeout()方法更改默认值。
type	Union["jpeg", "png", None]	指定截图的类型，默认为png。
path	Union[pathlib.Path, str, None]	图像保存的文件路径。截图类型将根据文件扩展名进行推断。如果path是相对路径，则相对于当前工作目录解析。如果不提供路径，则图像将不会保存到磁盘。
quality	Union[int, None]	图像的质量，介于0到100之间。不适用于png图像。
omit_background	Union[bool, None]	隐藏默认的白色背景，允许使用透明度进行截图。不适用于jpeg图像。默认为false。
animations	Union["allow", "disabled", None]	设置为"disabled"时，停止CSS动画、CSS过渡和Web动画。动画的处理方式取决于其持续时间：有限动画将快进到完成状态，因此它们会触发transitionend事件。无限动画将取消到初始状态，然后在截图后重新播放。默认为"allow"，即保持动画不变。
caret	Union["hide", "initial", None]	设置为"hide"时，截图将隐藏文本插入符。设置为"initial"时，文本插入符的行为不会改变。默认为"hide"。
scale	Union["css", "device", None]	设置为"css"时，截图上每个CSS像素将具有一个实际像素。对于高DPI设备，这将使截图保持较小的大小。使用"device"选项将使每个设备像素有一个实际像素，因此高DPI设备的截图将是两倍或更大。默认为"device"。
mask	Union[List[Locator], None]	指定在截图时应隐藏的定位符。被隐藏的元素将被叠加一个粉色框#FF00FF（由maskColor自定义），完全覆盖其边界框。
mask_color	Union[str, None]	指定被隐藏元素的覆盖框的颜色，以CSS颜色格式表示。默认颜色为粉色#FF00FF。

Page类下的截图

「用法」

page.screenshot()
page.screenshot(**kwargs)

「参数」

参数	类型	含义
timeout	Union[float, None]	最大等待时间，以毫秒为单位。默认为30000（30秒）。传入0以禁用超时。browser_context.set_default_timeout()或page.set_default_timeout()方法更改默认值。
type	Union["jpeg", "png", None]	指定截图的类型，默认为png。
path	Union[pathlib.Path, str, None]	图像保存的文件路径。截图类型将根据文件扩展名进行推断。如果path是相对路径，则相对于当前工作目录解析。如果不提供路径，则图像将不会保存到磁盘。
quality	Union[int, None]	图像的质量，介于0到100之间。不适用于png图像。
omit_background	Union[bool, None]	隐藏默认的白色背景，允许使用透明度进行截图。不适用于jpeg图像。默认为false。
full_page	Union[bool, None]	为true时，截取完整可滚动页面的屏幕截图，而不是当前可见的视口。默认为false。
clip	Union[{x: float, y: float, width: float, height: float}, None]	指定结果图像的裁剪区域的对象。
animations	Union["allow", "disabled", None]	设置为"disabled"时，停止CSS动画、CSS过渡和Web动画。动画的处理方式取决于其持续时间：有限动画将快进到完成状态，因此它们会触发transitionend事件。无限动画将取消到初始状态，然后在截图后重新播放。默认为"allow"，即保持动画不变。
caret	Union["hide", "initial", None]	设置为"hide"时，截图将隐藏文本插入符。设置为"initial"时，文本插入符的行为不会改变。默认为"hide"。
scale	Union["css", "device", None]	设置为"css"时，截图上每个CSS像素将具有一个实际像素。对于高DPI设备，这将使截图保持较小的大小。使用"device"选项将使每个设备像素有一个实际像素，因此高DPI设备的截图将是两倍或更大。默认为"device"。
mask	Union[List[Locator], None]	指定在截图时应隐藏的定位符。被隐藏的元素将被叠加一个粉色框#FF00FF（由maskColor自定义），完全覆盖其边界框。
mask_color	Union[str, None]	指定被隐藏元素的覆盖框的颜色，以CSS颜色格式表示。默认颜色为粉色#FF00FF。

Locator类下的截图

该方法将截取页面的屏幕截图，并根据定位符匹配的特定元素的大小和位置进行裁剪。

如果该元素被其他元素覆盖，则在截图上实际上不可见。

如果该元素是可滚动容器，则截图上只会显示当前滚动的内容。

该方法会等待可操作性检查，然后将元素滚动到视图中，然后再进行截图。

如果该元素已从 DOM 中移除，则该方法会抛出一个错误。

「用法」

page.get_by_role("link").screenshot()
page.locator("#main-content").screenshot()

「参数」

参数	类型	含义
timeout	Union[float, None]	最大等待时间，以毫秒为单位。默认为30000（30秒）。传入0以禁用超时。browser_context.set_default_timeout()或page.set_default_timeout()方法更改默认值。
type	Union["jpeg", "png", None]	指定截图的类型，默认为png。
path	Union[pathlib.Path, str, None]	图像保存的文件路径。截图类型将根据文件扩展名进行推断。如果path是相对路径，则相对于当前工作目录解析。如果不提供路径，则图像将不会保存到磁盘。
quality	Union[int, None]	图像的质量，介于0到100之间。不适用于png图像。
omit_background	Union[bool, None]	隐藏默认的白色背景，允许使用透明度进行截图。不适用于jpeg图像。默认为false。
animations	Union["allow", "disabled", None]	设置为"disabled"时，停止CSS动画、CSS过渡和Web动画。动画的处理方式取决于其持续时间：有限动画将快进到完成状态，因此它们会触发transitionend事件。无限动画将取消到初始状态，然后在截图后重新播放。默认为"allow"，即保持动画不变。
caret	Union["hide", "initial", None]	设置为"hide"时，截图将隐藏文本插入符。设置为"initial"时，文本插入符的行为不会改变。默认为"hide"。
scale	Union["css", "device", None]	设置为"css"时，截图上每个CSS像素将具有一个实际像素。对于高DPI设备，这将使截图保持较小的大小。使用"device"选项将使每个设备像素有一个实际像素，因此高DPI设备的截图将是两倍或更大。默认为"device"。
mask	Union[List[Locator], None]	指定在截图时应隐藏的定位符。被隐藏的元素将被叠加一个粉色框#FF00FF（由maskColor自定义），完全覆盖其边界框。
mask_color	Union[str, None]	指定被隐藏元素的覆盖框的颜色，以CSS颜色格式表示。默认颜色为粉色#FF00FF。

「注意点」

locator类下的截图方法，是比page类下的截图方法少了两个可选参数。

「full_page」：对于元素截图不支持全页面滚动长截图。

「clip」：对于元素截图不支持裁剪。

Playwright快速使用截图功能

「当前页面截图」

page.screenshot(path="screenshot.png")

「当前页面长截图」

page.screenshot(path="screenshot.png", full_page=True)

「将截图转为字节存储在缓存中」

screenshot_bytes = page.screenshot()
print(base64.b64encode(screenshot_bytes).decode())

「根据元素截图」

page.locator(".header").screenshot(path="screenshot.png")

两大框架标签页切换对比

在Web UI测试中，我们点击某个带有超链接的元素，可能会在新的标签页打开。

实际上有时候浏览器还是停留在当前页面，并没有自己切到新页面，这时候就需要切换到新的标签页进行元素定位等相关操作。

selenium切换标签页

在selenium是通过handles句柄的方式进行切换。每个页面都有唯一的句柄，最新的页面可通过下标[-1]获取。

driver.switch_to.window(driver.window_handles[-1])

playwright切换标签页

在playwright的page类下有个将页面置于最前面（激活选项卡）方法，可以将目标标签页激活，并且在目标标签页进行元素定位等相关操作。

官方文档：https://playwright.dev/python/docs/api/class-page#page-bring-to-front

# 用法如下
Page.bring_to_front()

如何激活我们所需要激活的页面？

「1、通过url」

page.url

「2、通过title」

page.title

playwright切换标签页代码封装

个人感觉切换标签页selenium更方便一点，playwright需要我们自己封装一下。我封装的代码如下：

def switch_to_page(context: BrowserContext, url: str = None, title: str = None) -> Page:
    """
    切换到指定url
    :param context:传入一个浏览器上下文
    :param title: 当前标签页的标题
    :param url: 当前标签页的url
    :return: label_page:Page对象 返回对应的标签页,如果没找到则返回最新的标签页
    """
    for label_page in context.pages:
        if url:
            if url in label_page.url:
                label_page.bring_to_front()
                return label_page
        elif title:
            if title in label_page.title():
                label_page.bring_to_front()
                return label_page
    else:
        if title:
            print(f"没有找到【{title}】标题的标签页")
        if url:
            print(f"没有找到【{url}】网址的标签页")
    return context.pages[-1]

代码注释都写的很清楚了，这里就不单独做解析了。

JS注入

在一些特殊的情况下，我们需要执行原生js，从而达到我们一些框架无法完成的操作。

selenium使用js注入

使用execute_script方法

def execute_script(self, script, *args):
    """
    在当前窗口/框架中同步执行JavaScript。

    :参数:
     - script: 可执行的JavaScript脚本.
     - \*args: 任何适用的JavaScript参数.

    :使用方法:
     driver.execute_script('return document.title;')
    """

「实战示列」

我要通过js在浏览器创建一个新标签并打开我博客首页。

from selenium import webdriver
driver = webdriver.Chrome()
driver.execute_script(f'window.open("https://blog.csdn.net/qq_46158060", "_blank");')

playwright使用js注入

官方文档：https://playwright.dev/python/docs/api/class-page#page-evaluate

使用evaluate方法或evaluate_handle方法。

page.evaluate（）和 page.evaluate_handle（）之间的唯一区别是 page.evaluate_handle（）返回 JSHandle。

def evaluate(
        self, expression: str, arg: typing.Optional[typing.Any] = None
    ) -> typing.Any:

传入的是一个表达式，返回一个序列化值。

官方有挺多个示列。

```py
result = await page.evaluate(\"([x, y]) => Promise.resolve(x * y)\", [7, 8])
print(result) # prints \"56\"
```

```py
result = page.evaluate(\"([x, y]) => Promise.resolve(x * y)\", [7, 8])
print(result) # prints \"56\"
```

A string can also be passed in instead of a function:

```py
print(await page.evaluate(\"1 + 2\")) # prints \"3\"
x = 10
print(await page.evaluate(f\"1 + {x}\")) # prints \"11\"
```

```py
print(page.evaluate(\"1 + 2\")) # prints \"3\"
x = 10
print(page.evaluate(f\"1 + {x}\")) # prints \"11\"
```

「实战示列（1）」

我要通过js在浏览器创建一个新标签并打开我博客首页。

page.evaluate(f'window.open("https://blog.csdn.net/qq_46158060", "_blank");')

「实战示列（2）」

通过js定位一个id为main-content的元素，并且滚动该元素。

js = 'document.getElementById("main-content").scrollTo(600,800)'
page.evaluate(js)
# 或
# page.evaluate_handle(js)

综合实战

需要操作的页面如下

目标网址页面展示

「实战需求」

1、使用playwright连接本地指定端口浏览器

2、通过浏览器在新标签页打开指定项目ID下的相关页面

3、页面分为左右两栏，可以分别滚动，需要滚动右侧栏，并且进行长截图

4、要求一个页面只能有一张图

「难点」

1、playwright如何连接本地指定端口浏览器进行操作

2、前文中提到，页面截图，默认是第一个滚动条（暂未找到切换滚动条方案），这里需要定位右侧栏，也就是第二个滚动条

3、执行playwright按键操作进行滚动，默认是第一个滚动条，需要结合多种定位和键位，操作复杂

4、前文中提到，如果通过定位右侧栏大框元素进行截图，只能固定截图，无法长截图

「解决方案」

1、playwright连接本地浏览器详细教程参考我之前写过的文章：playwright连接已有浏览器操作

2、使用js定位右侧框的元素

3、使用js定位右侧框的元素进而执行滚动操作

4、通过js滚动进行多次截图。每滚动一次截图一次，至于滚动的范围需要自己先进行调试，最后将多张图进行拼接成一张图片。

图片拼接技术参考之前文章：web自动化之selenium的特殊用法汇总篇 , 这篇文章的特殊网页无法长截图，使用多图拼接技术章节。

图像拼接封装

下载三方库

pip install pillow==8.4.0

封装代码

from PIL import Image
# 拼接图片的代码
def stitch_images(imgPath_1: str, imgPath_2: str, newImgPath: str) -> str:
    """
    :param imgPath_1: 第一张图片的路径,
    :param imgPath_2: 第二张图片的路径,
    :param newImgPath: 拼接图片的路径,
    :return: newImgPath
    """
    # 获取JPG、png图像的路径
    im_list_1 = [imgPath_1, imgPath_2]
    im_list = [Image.open(fn) for fn in im_list_1]
    # 图片转化为相同的尺寸
    ims = []
    for i in im_list:
        new_img = i.resize((1920, 961), Image.BILINEAR)
        ims.append(new_img)
    # 单幅图像尺寸
    width, height = ims[0].size
    # 创建空白长图
    result = Image.new(ims[0].mode, (width, height * len(ims)))
    # 拼接图片
    for i, im in enumerate(ims):
        result.paste(im, box=(0, i * height))
    # 保存图片
    result.save(newImgPath)
    return newImgPath

实战完整代码

步骤：

1、使用playwright连接本地浏览器（含用户数据，免登陆，懒加载）

2、使用js在新标签页打开相关网址

3、切换至指定标签页

4、定位右侧栏，结合js滚动进行多图截取

5、使用PIL库进行多图拼接

注：本教程为示列代码，业务代码为方便阅读未进行封装，相关代码都进行了注释。

# -*- coding: utf-8 -*-
"""
@Time : 2023/6/25 14:50
@Email : Lvan826199@163.com
@公众号 : 梦无矶的测试开发之路
@File : PW_001_截图.py
"""
__author__ = "梦无矶小仔"

import time

from playwright.sync_api import sync_playwright, BrowserContext, Page
from PIL import Image


def switch_to_page(context: BrowserContext, url: str = None, title: str = None) -> Page:
    """
    切换到指定url
    :param context:传入一个浏览器上下文
    :param title: 当前标签页的标题
    :param url: 当前标签页的url
    :return: label_page:Page对象 返回对应的标签页,如果没找到则返回最新的标签页
    """
    for label_page in context.pages:
        if url:
            if url in label_page.url:
                label_page.bring_to_front()
                return label_page
        elif title:
            if title in label_page.title():
                label_page.bring_to_front()
                return label_page
    else:
        if title:
            print(f"没有找到【{title}】标题的标签页")
        if url:
            print(f"没有找到【{url}】网址的标签页")
    return context.pages[-1]


# 拼接图片的代码
def images_stitch(imgPath_1: str, imgPath_2: str, newImgPath: str) -> str:
    """
    :param imgPath_1: 第一张图片的路径,
    :param imgPath_2: 第二张图片的路径,
    :param newImgPath: 拼接图片的路径,
    :return: newImgPath
    """
    # 获取JPG、png图像的路径
    im_list_1 = [imgPath_1, imgPath_2]
    im_list = [Image.open(fn) for fn in im_list_1]
    # 图片转化为相同的尺寸
    ims = []
    for i in im_list:
        new_img = i.resize((1920, 961), Image.BILINEAR)
        ims.append(new_img)
    # 单幅图像尺寸
    width, height = ims[0].size
    # 创建空白长图
    result = Image.new(ims[0].mode, (width, height * len(ims)))
    # 拼接图片
    for i, im in enumerate(ims):
        result.paste(im, box=(0, i * height))
    # 保存图片
    result.save(newImgPath)
    return newImgPath

# 主代码

playwright = sync_playwright().start()
# 连接已经打开的浏览器，找好端口
browser = playwright.chromium.connect_over_cdp("http://127.0.0.1:9223")
default_context = browser.contexts[0]
print(type(default_context))
page = default_context.pages[0]

projectID = 6691166666666666666
gameID = 497566666666666666
timeRange = 7

# 官方教程 https://playwright.dev/python/docs/api/class-page#page-evaluate

url123 = f'https://play.google.com/console/u/0/developers/{projectID}/app/{gameID}/vitals/metrics/overview?days={timeRange}'

page.evaluate(
    f'window.open("https://play.google.com/console/u/0/developers/{projectID}/app/{gameID}/vitals/metrics/overview?days={timeRange}", "_blank");'
)  # 执行js代码

page.wait_for_timeout(5000)

page = switch_to_page(default_context, url123)

### 进行截图
# 官方教程 https://playwright.dev/python/docs/screenshots#full-page-screenshots
now_time = time.time_ns()
page.wait_for_timeout(1000)
page.locator("#main-content").click()
page.wait_for_timeout(1000)

image_path_1 = f'./img-{now_time}.png'
page.locator("#main-content").screenshot(path=f'img-{now_time}.png')
print("截图成功001")

page.wait_for_timeout(1000)
js = 'document.getElementById("main-content").scrollTo(600,800)'
# page.evaluate_handle(js)
page.evaluate(js)
print("执行了js滚动")
page.wait_for_timeout(1000)
now_time = time.time_ns()
image_path_2 = f'./img-{now_time}.png'
page.locator("#main-content").screenshot(path=f'img-{now_time}.png')
print("截图成功002")

# 截图拼接
new_image_path = './image_result.png'
result_img_path = images_stitch(image_path_1,image_path_2,new_image_path)
print(f"完整长截图路径：{result_img_path}")

「最终长截图效果展示」