mcp-rquest

mcp-rquest 是一个模型上下文协议（MCP）服务器，为 Claude 和其他大型语言模型（LLMs）提供高级的 HTTP 请求功能。基于 rquest 构建，该服务器能够模拟真实的浏览器行为，并具备准确的 TLS/JA3/JA4 指纹，使得模型能够更自然地与网站交互，并绕过常见的反机器人检测机制。此外，它还支持将 PDF 和 HTML 文档转换为 Markdown 格式，以便 LLMs 更轻松地处理。

功能

• 完整的 HTTP 方法：支持 GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS 和 TRACE
• 浏览器指纹：准确的 TLS、JA3/JA4 和 HTTP/2 浏览器指纹
• 内容处理：
  • 自动处理大响应并计算令牌数量
  • 将 HTML 转换为 Markdown，便于 LLM 处理
  • 使用 Marker 库将 PDF 转换为 Markdown
  • 将响应安全存储在系统临时目录中
• 认证支持：基本认证、Bearer 认证和自定义认证方法
• 请求定制：
  • 头部、cookies、重定向
  • 表单数据、JSON 载荷、multipart/form-data
  • 查询参数
• SSL 安全性：使用 BoringSSL 进行安全连接，并模拟真实的浏览器指纹

可用工具

• HTTP 请求工具：

  • http_get - 执行 GET 请求，支持可选参数
  • http_post - 通过 POST 请求提交数据
  • http_put - 使用 PUT 请求更新资源
  • http_delete - 使用 DELETE 请求删除资源
  • http_patch - 部分更新资源
  • http_head - 仅获取资源的头部信息
  • http_options - 获取资源的选项
  • http_trace - 诊断请求跟踪

• 响应处理工具：

  • get_stored_response - 获取存储的大响应，支持按行范围获取
  • get_stored_response_with_markdown - 将 HTML 或 PDF 响应转换为 Markdown 格式，便于 LLM 处理
  • get_model_state - 获取当前 PDF 模型加载过程的状态
  • restart_model_loading - 如果 PDF 模型加载失败或卡住，重新启动加载过程

PDF 支持

mcp-rquest 现在支持将 PDF 转换为 Markdown 格式，允许您下载 PDF 文件并将其转换为易于 LLMs 处理的 Markdown 格式：

1. 自动 PDF 检测：根据内容类型自动检测 PDF 文件
2. 无缝转换：相同的 get_stored_response_with_markdown 工具适用于 HTML 和 PDF 文件
3. 高质量转换：使用 Marker 库进行准确的 PDF 到 Markdown 转换
4. 优化性能：在包安装期间预下载模型，避免请求处理时的延迟

安装

使用 uv（推荐）

使用 uv 时无需特定安装。我们将使用 uvx 直接运行 mcp-rquest。

使用 pip

或者，您可以通过 pip 安装 mcp-rquest：

pip install mcp-rquest

安装后，您可以通过以下命令运行它：

python -m mcp_rquest

配置

为 Claude.app 配置

添加到您的 Claude 设置中：

使用 uvx：

{
  "mcpServers": {
    "http-rquest": {
      "command": "uvx",
      "args": ["mcp-rquest"]
    }
  }
}

使用 pip：

{
  "mcpServers": {
    "http-rquest": {
      "command": "python",
      "args": ["-m", "mcp_rquest"]
    }
  }
}

使用 pipx：

{
  "mcpServers": {
    "http-rquest": {
      "command": "pipx",
      "args": ["run", "mcp-rquest"]
    }
  }
}

浏览器模拟

mcp-rquest 利用 rquest 的强大浏览器模拟功能，提供真实的浏览器指纹，帮助绕过机器人检测并访问通常仅对标准浏览器可用的内容。支持的浏览器指纹包括：

• Chrome（多个版本）
• Firefox
• Safari（包括 iOS 和 iPad 版本）
• Edge
• OkHttp

这确保了通过 mcp-rquest 发送的请求看起来像是合法的浏览器流量，而不是机器人请求。

开发

设置开发环境

1. 克隆仓库
2. 使用 uv 创建虚拟环境：

   uv venv
   

3. 激活虚拟环境：

   # Unix/macOS
   source .venv/bin/activate
   # Windows
   .venv\Scripts\activate
   

4. 安装开发依赖：

   uv pip install -e ".[dev]"
   

致谢

• 该项目基于 rquest 构建，后者提供了具备浏览器指纹功能的高级 HTTP 客户端。
• rquest 基于 reqwest 的一个分支。