使用 PyAutoGUI 库在 Python 中自动化 GUI 交互

很酷的站长

发布于 2023-08-11 15:50:54

3720

发布于 2023-08-11 15:50:54

PyAutoGUI是一个很棒的模块，用于自动化Python应用程序中的图形用户界面交互。它使开发人员能够模仿用户输入并自动执行重复操作，使其成为测试、数据输入和其他需要与 GUI 交互的工作的理想选择。PyAutoGUI是一个跨平台的库，支持所有主要的操作系统，如Windows，Linux和macOS。

在本教程中，我们将了解如何使用 Python 的 PyAutoGUI 包来自动化 GUI 交互。我们将从安装 PyAutoGUI 开始并学习如何使用它。然后，我们将进一步深入研究库的功能，例如键盘和鼠标控制以及图片识别。我们将在此过程中提供示例，以帮助演示库的功能以及如何使用它来简化和自动化各种任务。

在本教程结束时，读者应该对 PyAutoGUI 以及如何使用它在 Python 应用程序中自动化 GUI 交互有深入的了解。PyAutoGUI 是一个复杂的软件包，无论您是软件开发人员、数据分析师，还是只是寻找优化工作流程的方法，都可以帮助您节省时间并提高工作效率。

现在我们知道了我们将要做什么，让我们开始吧！

开始

在我们深入研究使用 PyAutoGUI 来自动化 GUI 交互之前，我们首先需要使用 pip 安装 PyAutoGUI 模块。

但是，由于它不是内置的，我们必须首先安装 PyAutoGUI 库。这可以使用 pip 包管理器来完成。

要安装 PyAutoGUI 库，请打开终端并键入以下命令 -

pip install scikit-surprise

成功安装软件包后，我们就可以开始工作了！

使用 PyAutoGUI 自动执行 GUI 交互

现在我们已经安装了 PyAutoGUI，让我们探索它的一些功能以及如何使用它们来自动化 GUI 交互。

基本用法

我们需要做的第一件事是将 PyAutoGUI 模块导入我们的 Python 脚本 -

import pyautogui

PyAutoGUI 模块包括用于控制键盘和鼠标以及截屏和识别屏幕上图形的例程。

键盘控制

typewrite（）函数可用于模仿 PyAutoGUI 中的键盘输入。此函数接收字符串并模拟在键盘上键入它。举个例子——

import pyautogui pyautogui.typewrite('Hello, World!')

上面的代码使其看起来像键盘在提供的文本中键入单词。

您还可以使用 hotkey（）函数来模拟一次按下多个键。

import pyautogui pyautogui.hotkey('ctrl', 'c')

此代码将模仿同时按“ctrl”和“c”键，这类似于复制文本。

同样，如果要使用 PyAutoGUI 模拟粘贴，可以使用以下脚本轻松完成。

import pyautogui pyautogui.hotkey('ctrl', 'v')

鼠标控制

要使用 PyAutoGUI 模拟鼠标输入，我们可以使用 moveTo（）、click（）和 dragTo（）等函数。例如 -

import pyautogui

# Move the mouse to coordinates (100, 100) pyautogui.moveTo(100, 100) # Click the left mouse button pyautogui.click()

此代码会将鼠标移动到屏幕上的坐标（100、100），然后单击鼠标左键。

我们还可以使用 dragTo（）函数来模拟拖动鼠标。例如 -

import pyautogui # Move the mouse to coordinates (100, 100) pyautogui.moveTo(100, 100) # Click and drag the left mouse button to coordinates (200, 200) pyautogui.dragTo(200, 200, button='left')

此代码会将鼠标移动到坐标（100， 100），单击鼠标左键，然后将鼠标拖动到坐标（200， 200）。

图像识别

PyAutoGUI还包括用于在屏幕上定位图像的工具。这对于自动化需要用户单击图形用户界面中的特定按钮或图标的操作可能很方便。

locateOnScreen（）函数可用于在屏幕上定位图片。此方法接受文件名作为输入，并返回图像在屏幕上首次出现的左上角的坐标。举个例子——

import pyautogui # Locate the "start_button.png" image on the screen button_location = pyautogui.locateOnScreen('start_button.png') # Click the center of the button button_center = pyautogui.center(button_location) pyautogui.click(button_center)

此代码将在屏幕上找到“start_button.png”图像，然后单击按钮的中心。

完整的程序

这是完整的代码 -

import pyautogui # Simulate typing the text "Hello, World!" pyautogui.typewrite('Hello, World!') # Simulate pressing the "ctrl" and "c" keys at the same time pyautogui.hotkey('ctrl', 'c') # Simulate pressing the "ctrl" and "v" keys at the same time pyautogui.hotkey('ctrl', 'v') # Move the mouse to coordinates (100, 100)  # and click the left mouse button pyautogui.moveTo(100, 100) pyautogui.click() # Move the mouse to coordinates (100, 100)  # Click the left mouse button and drag to coordinates (200, 200) pyautogui.moveTo(100, 100) pyautogui.dragTo(200, 200, button='left') # Locate the "start_button.png" image on the screen  # and click the center of the button button_location = pyautogui.locateOnScreen('start_button.png') button_center = pyautogui.center(button_location) pyautogui.click(button_center)