推荐一款基于 Python 和 Rust 开发的跨平台 GUI 自动化库！

在当今快速发展的技术时代，自动化工具的需求日益增长。今天，我们要介绍一款强大的跨平台 GUI 自动化库——AutoPy。它基于 Python 和 Rust 开发，不仅功能强大，而且易于使用，能够帮助开发者轻松实现各种自动化任务。

一、AutoPy 是什么？

AutoPy 是一款基于 Python 和 Rust 开发的跨平台 GUI 自动化库，它为开发者提供了简便且高效的 API，帮助开发者快速实现：

• 鼠标与键盘的模拟操作
• 屏幕上的颜色与位图匹配
• 显示弹窗提示
• 自动化测试与脚本编写

最重要的是，它支持 Windows、macOS 和 Linux，真正做到了“一次编写，多端运行”。

项目地址：https://github.com/autopilot-rs/autopy

二、主要特性

AutoPy 的主要特点包括：

• 跨平台支持： 它可以在多个操作系统上运行，使用纯 Python 实现核心功能，同时结合 Rust 提升性能，确保了良好的兼容性和执行效率。
• 丰富的自动化功能：AutoPy 提供了屏幕操作、图像识别和自动化测试等多种功能，能够满足开发者在不同场景下的需求。例如，通过颜色和位图匹配，可以快速定位屏幕上的特定元素。
• 模拟控制鼠标键盘：AutoPy 提供了丰富的鼠标控制功能，可以精确控制鼠标的位置和移动。AutoPy 也支持键盘操作。你可以输入文本或模拟按键。
• 图像识别：AutoPy 的图像识别功能非常强大。你可以捕获屏幕截图，加载图像，并在图像中搜索特定区域
• 易于集成：作为一个轻量级的工具包，AutoPy 可以轻松集成到 Python 项目中，帮助开发者快速实现自动化任务，提升工作效率。

AutoPy 的应用场景非常广泛，包括但不限于自动化测试、屏幕操作和图像识别等，例如：

• 自动化测试： 通过AutoPy，开发者可以自动化测试流程，提高测试效率和覆盖率。
• 游戏机器人： 利用AutoPy的自动化功能，可以开发游戏机器人，自动执行游戏中的重复任务。
• 桌面应用自动化：AutoPy 可以帮助自动化桌面应用的操作，提高工作效率

三、快速上手

打开终端，输入如下命令进行安装

# 安装依赖包
pip install autopy

# 如果报错就补个buff
rustup default nightly && pip install setuptools-rust

PS：因为用了Rust加速，安装时可能需要Rust环境

案例 1：自动打开计算器并执行计算

AutoPy 可以轻松实现鼠标操作，比如移动鼠标到指定位置并执行点击。

import autopy
import time

# 移动鼠标到屏幕中央
autopy.mouse.move(500, 500)

# 打开计算器（Windows 为例）
autopy.key.type_string('calc')
autopy.key.tap(autopy.key.K_RETURN)

time.sleep(1)

# 输入计算式
autopy.key.type_string('123+456=')

这个示例展示了如何通过 AutoPy 控制鼠标的基本操作，适用于需要模拟用户点击的场景，例如自动化测试或日常办公任务

案例 2：屏幕颜色匹配

AutoPy 提供了屏幕颜色匹配功能，可以用于检测屏幕上某个位置的颜色，并根据结果执行相应操作。以下是一个示例：

import autopy

# 获取屏幕某一点的颜色
color = autopy.color.hex_to_rgb("#FF0000")  # 红色
pos = autopy.bitmap.capture_screen().find_color(color)

if pos:
    print(f"找到颜色，位置：{pos}")
    autopy.mouse.move(pos[0], pos[1])
else:
    print("未找到目标颜色")

这个功能常用于游戏辅助或图像识别任务，比如检测某个按钮是否高亮显示

案例 3：屏幕截图与图像匹配

AutoPy 支持屏幕截图和简单的图像匹配功能，可以用于自动化测试或监控屏幕变化。以下是一个示例：

import autopy

# 截取屏幕并保存为图片
screenshot = autopy.bitmap.capture_screen()
screenshot.save("screenshot.png")

# 加载一张图片并在屏幕上查找匹配位置
target_image = autopy.bitmap.Bitmap.open("target.png")
match = autopy.bitmap.find_bitmap(target_image)
if match:
    print(f"找到匹配位置: {match}")
else:
    print("未找到匹配位置")

这个功能非常适合需要根据图像内容执行操作的场景，比如自动化测试中的界面验证。

案例4：自动化登录

以下是一个综合案例，展示了如何使用 AutoPy 实现自动化登录：

import autopy
import time

# 移动鼠标到用户名输入框并点击
autopy.mouse.move(300, 200)
autopy.mouse.click()

# 输入用户名
autopy.key.type_string("your_username")

# 移动到密码输入框并点击
autopy.mouse.move(300, 250)
autopy.mouse.click()

# 输入密码
autopy.key.type_string("your_password")

# 模拟按下 Enter 键登录
autopy.key.tap(autopy.key.K_RETURN)

# 等待页面加载
time.sleep(2)

# 显示登录成功提示
autopy.alert.alert("登录成功！", "提示")

这个案例结合了鼠标移动、键盘输入和弹窗提示功能，展示了 AutoPy 在自动化任务中的结合运用。

四、小结

总之，AutoPy 是一个功能强大、易于学习的跨平台 GUI 自动化库。虽然 AutoPy 没有 PyAutoGUI 功能强大，但由于它底层由 Rust 驱动，比纯 Python 实现的自动化工具更快，且安装包小，内存占用低（<10MB），非常适合于一些简单自动化任务或长期需后台运行的任务。

如果想更强大但更重的替代方案，更推荐使用 PyAutoGUI + OpenCV。

但 AutoPy 仍然值得尝试，且是轻量级跨平台自动化的最佳选择之一！