i-am-a-bot：一款基于多个大语言模型的验证码系统安全评估工具
i-am-a-bot：一款基于多个大语言模型的验证码系统安全评估工具
关于i-am-a-bot
i-am-a-bot是一款基于多个大语言模型的验证码安全评估工具，该工具提供了一个使用了多模态大语言模型（LLM）的自动化解决方案，可以帮助广大研究人员测试各种类型验证码机制的安全性。
从底层上看，i-am-a-bot这个项目利用了Google的Vertex AI和一系列自定义代理功能来解决验证码挑战，并以此来评估和审计验证码系统的潜在安全问题。
功能介绍
1、识别目标图片是否是一个验证码； 2、判断目标验证码类型（文本、数学计算等式、图片翻转、智力谜语、图片选择等）； 3、解决文本和数学验证码； 4、集成了Google的Vertex AI用于模型推理（使用gemini-vision-pro）；
工具执行流
+-----------------------------------+
| 工具执行 |
+-----------------------------------+
|
v
+-----------------------------------+
| 加载代理 |
+-----------------------------------+
|
v
+-----------------------------------+
| 生成图片检测提示 |
+-----------------------------------+
|
v
+-----------------------------------+
| 检测图片看起来是否类似验证码 |
+-----------------------------------+
|
+--------------------------+ 否
| |
是 v
| +-------------------+
v | 提示值错误 |
+-----------------------------------+ |
| 生成验证码类型提示 | |
+-----------------------------------+ |
| |
v |
+-----------------------------------+ |
| 确定验证码类型 | |
+-----------------------------------+ |
| |
+----------+------------+ |
| | | |
v v | |
+---------+--+ +---+---------+ | |
| 文本验证码 | | 数学验证码 | | |
+---------+--+ +---+---------+ | |
| | | |
v v | |
+---------+--+ +---+---------+ | |
| 解决文本 | | 解决数学 | | |
| 验证码 | | 验证码 | | |
+---------+--+ +---+---------+ | |
| | | |
v v | |
+---------+--+ +---+---------+ | |
| 返回文本 | | 返回数学 | | |
| 验证码 | | 验证码 | | |
| 解决方案 | | 解决方案 | | |
+---------+--+ +---+---------+ | |
| | | |
+----------+------------+ |
| |
+---------------------------+
|
+--------------------v-----------------------------+
| 如果验证码类型不支持则提示值错误 |
+--------------------------------------------------+
|
v
+-----------------------------------+
| 执行完毕 |
+-----------------------------------+项目结构agents.ty：包含代理的定义参数，用于识别和解决验证码问题；
gemini_core.py：处理工具与Google Vertex AI的交互，以处理验证码图片；
solve.py：验证码解决工具的主入口点，使用定义的代理构建验证码解析流程；
sample.py：用于演示工具使用的样例脚本；
代理
项目定义了四个代理，每一个都在验证码解析流程中扮演了特定的角色：
CheckIfImageLooksLikeCaptchaAgent：判断目标图片是否是验证码；
DecideCaptchaTypeAgent：识别验证码类型；- CheckIfImageLooksLikeCaptchaAgent：判断目标图片是否是验证码；
- DecideCaptchaTypeAgent：识别验证码类型；
- TextSolveAgent：解决需要文本识别的验证码挑战；
- MathSolveAgent：解决需要解决数学计算等式的验证码挑战；
工具安装
由于该工具基于Python 3开发，因此我们首先需要在本地设备上安装并配置好Python 3环境。
接下来，广大研究人员可以直接使用下列命令将该项目源码克隆至本地：
git clone https://github.com/AashiqRamachandran/i-am-a-bot.git然后切换到项目目录中，使用下列命令安装该工具所需的其他依赖组件：
cd i-am-a-bot
pip install --upgrade google-cloud-aiplatform
工具配置
在使用该工具之前，必须提供你的Google Cloud项目ID和服务账号JSON文件路径，工具会使用这两个参数完成Vertex AI服务的身份认证。
工具使用样例
from iamabot import solve
# Initialize the solver with your Google Cloud project ID and service account credentials
solver = solve.Solve(
project_id=1077607249524,
credential_file_path="google-service-account-credential-file.json"
)
# Run the solver on a CAPTCHA image
solved_response = solver.run("sample_captchas/text_moderate.png")
# Print the solution
print(solved_response)支持的验证码
工具运行截图
许可证协议
本项目的开发与发布遵循MIT开源许可证协议。
项目地址
i-am-a-bot：
https://github.com/AashiqRamachandran/i-am-a-bot
腾讯云开发者
